CN110659311A - 题目推送方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种题目推送方法，涉及教育学习系统，用于针对不同学生对知识点掌握程度随时间发生的变化，获取题目之间的关联性特征，有效地推送题目，该方法包括以下步骤：获取历史做题数据，按知识点对所述历史做题数据分类，每个知识点构成一个对应的题目数据集合；将题目数据集合按时间顺序输入预设的循环神经网络模型，获得关联性特征；基于关联性特征和预设的题库数据的当前答题特征，获得题库数据的题目状态s_t；根据题目状态s_t和马尔可夫决策过程，获得题目排队序列，选取排队序列中靠前的题目作为目标题目进行推送。本发明还公开了一种题目推送装置、电子设备和计算机存储介质，针对不同学生有效推送题目。

Description

题目推送方法、装置、电子设备及存储介质

技术领域

本发明涉及教育学习系统，尤其涉及一种题目推送方法、装置、电子设备及存储介质。

背景技术

随着计算机技术和网络的快速发展，基于互联网的在线教育得以广泛应用。学生可以通过在线的教育学习系统，进行在线学习、在线做题、在线考试等，方便学生进行个性化的学习和评测。因为不同学生对知识点的掌握程度不同，教育学习系统需要针对不同学生推送适合学生能力的题目，只有推送的题目与学生对知识点的掌握程度匹配时，学生才能通过做题练习获得能力的有效提升。

现有教育学习系统通常将学生对不同题目的答题情况看做是相互独立、互不影响的，根据学生当前的答题状态，来评估学生对题目所含知识点的掌握程度，从而进行题目的推送。这种题目推送方法没有考虑学生对题目中知识点的掌握程度是会随着学习时间发生动态变化的，忽略了题目之间的关联性。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种题目推送方法，其通过循环神经网络模型获取题目之间的关联性特征，进一步得到预设题库的题目状态，从而对题目进行排序并根据排序有效推送题目。

本发明的目的之一采用以下技术方案实现：

获取历史做题数据，根据所述历史做题数据的知识点对所述历史做题数据进行分类，每个知识点对应的历史做题数据构成一个题目数据集合；

将所述题目数据集合按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征；

获取预设的题库数据的当前答题特征，基于所述当前答题特征和所述关联性特征获得所述题库数据的题目状态s_t；

根据所述题目状态s_t和马尔可夫决策过程，获得题目排队序列，选取所述排队序列中靠前的一个或多个题目作为目标题目，推送所述目标题目。

预设的循环神经网络模型可以是根据历史做题数据即时训练获得的模型或者已经完成训练的模型；预设的题库数据可以根据需求从题库中任意获取。

进一步地，将所述题目数据集合按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征，包括：

提取所述题目数据集合对应历史做题数据的回答时间和回答结果，将所述题目数据集合的知识点、所述回答时间和所述回答结果按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征，所述关联性特征包括所述题目数据集合的最大回答时间、最小回答时间、平均回答时间和正确率变化特性。

进一步地，基于所述当前答题特征和所述关联性特征获得所述题库数据的题目状态s_t，包括：

将所述当前答题特征与所述关联性特征输入所述循环神经网络模型，获得所述题库数据的题目状态s_t，所述题目状态s_t包括所述题库数据的知识点、回答时间和回答结果。

进一步地，根据所述题目状态s_t和马尔可夫决策过程，获得题目排队序列，包括：

M是待排序的题目数量，对于排序过程在时间步t＝0至t＝M-1，基于马尔可夫决策过程，应用策略函数π计算所述题目状态s_t选择动作的概率，选择概率最大对应的动作a_t，

是该选择动作a_t对应的题目，将所述题目添加至所述排队序列中；

其中，A(s_t)是所述题目状态s_t下所有可选择的动作集合，t表示时间步，假设a_t∈A(s_t)是所述题目状态s_t选择的一个动作，

是该选择动作a_t对应的题目，m(a_t)是动作a_t对应题目的下标，w_t是所述题目状态s_t下维度与题目特征相同的模型参数，所述参数w_t的初始值是随机生成的；

应用价值函数，计算在所述题目状态s_t下选择动作a_t的回报率r_t+1；

其中，

是选择题目q_m(a_t)的相关性标签；

根据转换函数，改变所述题目状态s_t至s_t+1；

计算长期回报率G_t，根据所述长期回报率和梯度下降算法将所述参数w_t更新为w_t+1，直至参数收敛，获得数量为M的题目对应的排队序列。

进一步地，计算长期回报率G_t，根据所述长期回报率和梯度下降算法将所述参数w_t更新为w_t+1，包括：

计算所述长期回报率G_t；

其中，γ是预设的折扣因子，γ^k-1表示随着时间步t的增加，折扣因子的作用逐渐减小的变化，r_t+k表示从时间步t＝0开始的回报率；

计算在时间步t的参数w_t的梯度

其中，A(s_t)是所述题目状态s_t下所有可选择的动作集合，t表示时间步，是选择动作a_t对应的题目，m(a_t)是动作a_t对应题目的下标，w_t是所述题目状态s_t下维度与题目特征相同的模型参数；

根据所述长期回报率G_t和时间步t的参数w_t的梯度

将中间参数Δw_t更新为Δw_t+1、将所述参数w_t更新为w_t+1；

其中，Δw_t是所述题目状态s_t下维度与题目特征相同的中间参数，所述中间参数Δw_t的初始指为0，γ^t表示随着时间步t的增加，折扣因子的作用逐渐减小，G_t是从时间步t＝0至t＝M-1的长期回报率，

是在时间步 t的参数w_t的梯度；

w_t+1＝w_t+ηΔw_t+1；

其中，η是预设的学习率，w_t是所述题目状态s_t下维度与题目特征相同的模型参数，Δw_t+1是时间步t更新后的中间参数。

进一步地，所述相关性标签

由题目难度和回答结果计算得到；

其中，

是题目

对应的题目难度，

是题目

的回答结果；

其中，N是题目

的回答总人数，

代表题目

统计答错的人数，

代表题目

统计答对的人数。

进一步地，还包括：接收推送题目的答题信息，将所述推送题目和所述答题信息加入所述历史做题数据；所述答题信息包括回答时间和回答结果。

本发明的目的之二在于提供一种题目推送装置，其通过循环神经网络模型获取题目之间的关联性特征，进一步得到预设题库的题目状态s_t，从而对题目进行排序并根据排序有效推送题目。

本发明的目的之二采用以下技术方案实现：

一种题目推送装置，其包括：

历史做题获取分类模块，用于获取历史做题数据，根据所述历史做题数据的知识点对所述历史做题数据进行分类，每个知识点对应的历史做题数据构成一个题目数据集合；

关联性特征获取模块，用于将所述题目数据集合按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征；

题库状态更新模块，用于获取预设的题库数据的当前答题特征，基于所述当前答题特征和所述关联性特征获得所述题库数据的题目状态s_t；

题目推送模块，用于根据所述题目状态s_t和马尔可夫决策过程，获得题目排队序列，选取所述排队序列中靠前的一个或多个题目作为目标题目，推送所述目标题目。

本发明的目的之三在于提供执行发明目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时本发明目的之一的题目推送方法。

本发明的目的之四在于提供存储发明目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明目的之一的题目推送方法。

相比现有技术，本发明的有益效果在于：

本发明根据相同的知识点对题目分类，将分类的题目数据集合按时间顺序输入循环神经网络模型，获取了题目之间的关联性特征，包含了学生对题目知识点掌握程度随学习时间发生的动态变化特性；基于题目之间的关联性特征和预设的题库数据的当前答题特征，对题库数据的题目状态进行更新，使得题库数据不仅包含学生当前的答题特征，还包含学生历史答题的普遍变化特性；根据马尔可夫决策过程获得题目排队序列，可以有效地选取目标题目并进行推送；针对不同学生的能力水平推送题目，有利于学生能力的提升。

附图说明

图1为本发明实施例一的题目推送方法流程图；

图2为本发明实施例五的题目推送方法流程图；

图3为本发明实施例六的题目推送装置的结构框图；

图4为本发明实施例七的电子设备的结构框图。

具体实施方式

以下将结合附图，对本发明进行更为详细的描述，需要说明的是，下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。

实施例一

实施例一提供了一种题目推送方法，旨在通过对于包含相同知识点的题目数据分类进而按时间顺序输入循环神经网络模型，获得题目之间的关联性特征，基于该关联性特征和预设题库数据的当前答题特征，获得该题库数据的题目状态s_t，根据该题目状态s_t与马尔可夫决策过程，获得题目排队序列，从该排队序列中选取目标题目，从而向学生有效地推送目标题目。这种题目推送方式，考虑到学生对题目知识点的掌握程度会随着时间发生动态变化，根据学生当前的答题特征和历史答题的变化特性，针对不同学生的能力水平推送题目，有利于学生能力的提升。

请参照图1所示，一种题目推送方法，包括以下步骤：

S110、获取历史做题数据，根据所述历史做题数据的知识点对所述历史做题数据进行分类，每个知识点对应的历史做题数据构成一个题目数据集合。

历史做题数据Q是所有题目操作者做过的所有题目数据集合，题目数据包括题目本身、题目所包含的知识点以及所有题目操作者练习该题目的历史答题信息记录，历史答题信息记录包括所有题目操作者做题的回答时间和回答结果。该历史做题数据Q按照题目包含的知识点被分为若干个题目数据集合Q_i，i＝1,...,N，N是知识点数量，Q＝{Q₁,...Q_N}，每个题目数据集合Q_i由相同知识点对应的历史做题数据构成。

题目所包含的知识点可以是通过标签形式预先为每个题目本身进行设置，也可以是通过一定的技术手段攫取题目本身的关键词进行分析获取知识点，例如，申请号为201610301360.4的中国发明专利公开了一种建立获取题目知识点模型、获取题目知识点的方法和装置；申请号为201810013406.1的中国发明专利公开了一种基于神经网络的题目知识点自动提取方法等。

S120、将所述题目数据集合按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征。

将每个题目数据集合Q_i(i＝1,...,N)的题目数据，按照做题的时间顺序输入预设的循环神经网络模型，获得每个题目数据集合的关联性特征 H_in＝[h_i1,...,h_in]，i＝1,...,N，N是知识点数量，n是关联性特征取的个数，个数可以按照需要设定，h_ij(i＝1,...,N，j＝1,...,n)是题目数据集合Q_i对应的相同知识点的第j个特征。区别于其他机器学习模型，循环神经网络具有记忆性、参数共享并且图灵完备(Turing completeness)，因此在对序列的非线性特征进行学习时具有一定优势。在本发明较佳的实施例中，循环神经网络模型可以是根据历史做题数据即时训练获得的模型，也可以是根据历史做题数据已经训练完成的参考模型，这些历史做题数据可以是上述的题目推送对象产生的，也可以是其他一个或多个题目操作者产生的，这里不做限定。

获得的关联性特征包含了学生对知识点掌握程度随学习时间发生的动态变化特性，例如，可以包括题目数据集合的最大回答时间、最小回答时间、平均回答时间和正确率变化特性。

S130、获取预设的题库数据的当前答题特征，基于所述当前答题特征和所述关联性特征获得所述题库数据的题目状态s_t。

获取题目推送对象练习预设题库数据的当前答题特征X_t，将该当前答题特征X_t与所述关联性特征H_in(i＝1,...,N，N是知识点数量，n是关联性特征取的个数)输入所述循环神经网络模型，该循环神经网络模型即步骤S120中的循环神经网络模型，从而获得该题库数据的题目特征，由题目特征构成题目状态s_t，s_t＝[q_i1,...,q_im]^T，i＝1,...,M，M是待排序的题目数量，即预设题库数据中的题目数量，m是题目特征取的个数，个数与当前答题特征包含的特征个数一致，q_ij(i＝1,...,M，j＝1,...,m)是题目q_i的第j个题目特征。题目状态s_t包括所述题库数据的题目特征，例如，可以包括题目的知识点、回答时间和回答结果。

预设的题库数据可以是自行创建的数据库，也可以是调用其他平台的数据库，这里不做限定，同样地，预设的题库数据对应的知识点可以是预先设置，也可以是通过技术方式攫取关键词进行分析得到。

S140、根据所述题目状态s_t和马尔可夫决策过程，获得题目排队序列，选取所述排队序列中靠前的一个或多个题目作为目标题目，推送所述目标题目。

基于所述题目状态s_t与马尔可夫决策过程，在时间步t＝0至t＝M-1，选择题目状态s_t的一个动作a_t，是该选择动作a_t对应的题目，完成排序后获得题目排队序列

根据题目推送需求，将排队序列

中靠前的一个或者多个题目作为目标题目，从预设的题库数据中选中对应的若干个目标题目推送给题目推送对象。该若干个目标题目的具体数量可以根据题目推送对象设置进行，而且该若干个目标题目优选是题目推送对象未操作过的题目。

实施例二

实施例二是在实施例一基础上进行的改进，提取题目数据集合的回答时间和回答结果，通过循环神经网络模型获取该题目数据集合的关联性特征。

提取每个题目数据集合Q_i(i＝1,...,N)对应历史做题数据的回答时间和回答结果，N是知识点数量，将所述题目数据集合的知识点、所述回答时间和回答结果按照做题的时间顺序输入预设的循环神经网络模型，获得每个题目数据集合的关联性特征H_i4＝[H_i1,...,H_i4]，i＝1,...,N，该关联性特征包括4个特征：所述题目数据集合的最大回答时间、最小回答时间、平均回答时间和正确率变化特性。

关联性特征还可以包括回答时间变化特征，则关联性特征为 H_i5＝[H_i1,...,H_i5]，i＝1,...,N。进一步地，关联性特征还可以是其他通过一定的技术手段进行概率计算以获得的对知识点掌握程度的描述特征，例如，申请号为201710150965.2的中国发明专利公开了一种基于大数据的知识点掌握概率计算方法等。因回答时间与正确率是答题信息对知识点掌握程度的常用描述特征之一，对回答时间与正确率的扩展特征或者其他对知识点掌握程度的描述特征均属于本发明的保护范围。

实施例三

实施例三是在实施例一基础上进行的改进，将获取到的预设题库数据的当前答题特征与关联性特征输入循环神经网络模型，获得所述题库数据的题目状态s_t。

获取题目推送对象练习预设题库数据的当前答题特征X_t＝[X_i1,...,X_im]， i＝1,...,M，M是题库数据中的题目数量，m是当前答题特征包含的特征个数， X_i3＝[X_i1,...,X_i3]，i＝1,...,N，该当前答题特征包括3个特征：答题知识点、当前回答时间和当前回答结果。

将当前答题特征X_t与所述关联性特征H_in(i＝1,...,N，N是知识点数量，n 是关联性特征取的个数)输入所述循环神经网络模型，获得该题库数据的题目特征，由题目特征构成题目状态s_t，s_t＝[q_i1,...,q_im]^T，i＝1,...,M，M是待排序的题目数量，即预设题库数据中的题目数量，m是题目特征取的个数，个数与当前答题特征包含的特征个数一致，q_ij(i＝1,...,M，j＝1,...,m)是题目q_i的第j个题目特征。该题目状态s_t包括所述题库数据的题目特征，该题目特性在题目推送对象做完当前题目后更新的题库数据特征，包括题库数据的知识点、回答时间和回答结果，该题目特性同时包含题目推送对象的当前答题特性与所有题目操作者历史答题的普遍特性。

实施例四

实施例四是在实施例一至三任意一个或多个的基础上进行的改进，根据题库数据的题目状态s_t和马尔可夫决策过程，获得题目排队序列进而选取目标题目进行推送，包括：

M是题库数据中待排序的题目数量，对于排序过程在时间步t＝0至 t＝M-1，基于马尔可夫决策过程，应用策略函数π计算所述题目状态s_t选择动作的概率，选择概率最大对应的动作a_t，

是该选择动作a_t对应的题目，将所述题目添加至所述排队序列中。

其中，A(s_t)是所述题目状态s_t下所有可选择的动作集合，t表示时间步，假设a_t∈A(s_t)是所述题目状态s_t选择的一个动作，

是该选择动作a_t对应的题目，m(a_t)是动作a_t对应题目的下标，w_t是所述题目状态s_t下维度与题目特征相同的模型参数，所述参数w_t的初始值是随机生成的。

应用价值函数计算在所述题目状态s_t下选择动作a_t的回报率r_t+1。

其中，

是选择题目q_m(a_t)的相关性标签，该相关性标签由题目难度和回答结果计算得到。

其中，

是题目

对应的题目难度，

是题目

的回答结果。

其中，N是题目

对应题目数据集合统计的回答总人数，

代表题目

统计答错的人数，代表题目统计答对的人数。

根据转换函数，改变所述题目状态s_t至s_t+1。该转换函数是映射题目状态s_t至s_t+1的一个函数映射，该转换函数是预先设置的。例如，在时间步t 选择动作a_t对应的题目

设置转换函数T将该题目

从剩下待排名的题目中移除，

是初始待排序的题目数量，m是关联性特征取的个数。

计算所述长期回报率G_t。

其中，γ是预设的折扣因子，γ^k-1表示随着时间步t的增加，折扣因子的作用逐渐减小的变化，r_t+k表示从时间步t＝0开始的回报率。预设的折扣因子γ可以根据需要任意设定。

计算在时间步t的参数w_t的梯度

其中，A(s_t)是所述题目状态s_t下所有可选择的动作集合，t表示时间步，是选择动作a_t对应的题目，m(a_t)是动作a_t对应题目的下标，w_t是所述题目状态s_t下维度与题目特征相同的模型参数。

根据所述长期回报率G_t和时间步t的参数w_t的梯度将中间参数Δw_t更新为Δw_t+1、将所述参数w_t更新为w_t+1。

其中，Δw_t是所述题目状态s_t下维度与题目特征相同的中间参数，所述中间参数Δw_t的初始指为0，γ^t表示随着时间步t的增加，折扣因子的作用逐渐减小，G_t是从时间步t＝0至t＝M-1的长期回报率，

是在时间步 t的参数w_t的梯度。

w_t+1＝w_t+ηΔw_t+1

其中，η是预设的学习率，w_t是所述题目状态s_t下维度与题目特征相同的模型参数，Δw_t+1是时间步t更新后的中间参数。预设的学习率η可以根据需要任意设定。

直至参数w_t+1收敛，获得数量为M的题目对应的排队序列

根据题目推送需求，将排队序列

中靠前的一个或者多个题目作为目标题目，向题目推送对象推送该目标题目。

实施例五

实施例五是在实施例一至四任意一个或多个的基础上进行的改进，请参照图2所示，该方法还包括步骤S150，步骤S150为接收推送对象做完S140推送题目的答题信息，将该推送题目和该答题信息加入所述历史做题数据；所述答题信息包括回答时间和回答结果。

该答题信息还包括对推送对象回答结果是否正确的判定结果。因推送题目可以是客观题或者主观题，对客观题是否正确的判定结果通过将回答结果与标准答案进行比对得到，对主观题是否正确的判定结果可以通过一定的技术手段对回答结果分词处理获得，例如，申请号为201711437049.3的中国发明专利公开了一种数学主观题评阅方法及系统；申请号为201710611571.2的中国发明专利公开了一种基于答案蕴涵与依存关系的主观题自适应阅卷方法等。

将该推送题目本身、题目对应的知识点与该答题信息加入历史做题数据，对历史做题数据进行更新，从而记录推送对象对该知识点的掌握程度随时间发生的变化，有利于下一次题目的有效推送。

实施例六

实施例六公开了一种对应上述实施例的一种题目推送装置，为上述实施例的虚拟装置结构，请参照图3所示，包括：

历史做题获取分类模块210，用于获取历史做题数据，根据所述历史做题数据的知识点对所述历史做题数据进行分类，每个知识点对应的历史做题数据构成一个题目数据集合；

关联性特征获取模块220，用于将所述题目数据集合按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征；

题库状态更新模块230，用于获取预设的题库数据的当前答题特征，基于所述当前答题特征和所述关联性特征获得所述题库数据的题目状态s_t；

题目推送模块240，用于根据所述题目状态s_t和马尔可夫决策过程，获得题目排队序列，选取所述排队序列中靠前的一个或多个题目作为目标题目，推送所述目标题目。

优选地，接收推送对象做完推送题目得到的答题信息，将所述推送题目和所述答题信息加入所述历史做题数据。

实施例七

图4为本发明实施例七提供的一种电子设备的结构示意图，如图4所示，该电子设备包括处理器310、存储器320、输入装置330和输出装置340；计算机设备中处理器310的数量可以是一个或多个，图4中以一个处理器310 为例；电子设备中的处理器310、存储器320、输入装置330和输出装置340 可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的题目推送方法对应的程序指令/ 模块(例如，题目推送方法装置中的历史做题获取分类模块210、关联性特征获取模块220、题库状态更新模块230和题目推送模块240)。处理器310 通过运行存储在存储器320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述实施例一至实施例五的题目推送方法。

存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可用于接收历史做题数据、预设的题库数据等。输出装置 340可包括显示屏等显示设备。

实施例八

本发明实施例八还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行题目推送方法，该方法包括：

获取历史做题数据，根据所述历史做题数据的知识点对所述历史做题数据进行分类，每个知识点对应的历史做题数据构成一个题目数据集合；

将所述题目数据集合按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征；

获取预设的题库数据的当前答题特征，基于所述当前答题特征和所述关联性特征获得所述题库数据的题目状态s_t；

根据所述题目状态s_t和马尔可夫决策过程，获得题目排队序列，选取所述排队序列中靠前的一个或多个题目作为目标题目，推送所述目标题目。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于题目推送方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述基于题目推送方法装置实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种题目推送方法，其特征在于：包括以下步骤：

获取历史做题数据，根据所述历史做题数据的知识点对所述历史做题数据进行分类，每个知识点对应的历史做题数据构成一个题目数据集合；

将所述题目数据集合按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征；

获取预设的题库数据的当前答题特征，基于所述当前答题特征和所述关联性特征获得所述题库数据的题目状态s_t；

根据所述题目状态s_t和马尔可夫决策过程，获得题目排队序列，选取所述排队序列中靠前的一个或多个题目作为目标题目，推送所述目标题目。

2.如权利要求1所述的一种题目推送方法，其特征在于：将所述题目数据集合按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征，包括：

提取所述题目数据集合对应历史做题数据的回答时间和回答结果，将所述题目数据集合的知识点、所述回答时间和所述回答结果按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征，所述关联性特征包括所述题目数据集合的最大回答时间、最小回答时间、平均回答时间和正确率变化特性。

3.如权利要求1所述的一种题目推送方法，其特征在于：基于所述当前答题特征和所述关联性特征获得所述题库数据的题目状态s_t，包括：

将所述当前答题特征与所述关联性特征输入所述循环神经网络模型，获得所述题库数据的题目状态s_t，所述题目状态s_t包括所述题库数据的知识点、回答时间和回答结果。

4.如权利要求1所述的一种题目推送方法，其特征在于：根据所述题目状态s_t和马尔可夫决策过程，获得题目排队序列，包括：

M是待排序的题目数量，对于排序过程在时间步t＝0至t＝M-1，基于马尔可夫决策过程，应用策略函数π计算所述题目状态s_t选择动作的概率，选择概率最大对应的动作a_t，

是该选择动作a_t对应的题目，将所述题目添加至所述排队序列中；

其中，A(s_t)是所述题目状态s_t下所有可选择的动作集合，t表示时间步，假设a_t∈A(s_t)是所述题目状态s_t选择的一个动作，

是该选择动作a_t对应的题目，m(a_t)是动作a_t对应题目的下标，w_t是所述题目状态s_t下维度与题目特征相同的模型参数，所述参数w_t的初始值是随机生成的；

应用价值函数，计算在所述题目状态s_t下选择动作a_t的回报率r_t+1；

其中，

是选择题目q_m(a_t)的相关性标签；

根据转换函数，改变所述题目状态s_t至s_t+1；

计算长期回报率G_t，根据所述长期回报率和梯度下降算法将所述参数w_t更新为w_t+1，直至参数收敛，获得数量为M的题目对应的排队序列。

5.如权利要求4所述的一种题目推送方法，其特征在于：计算长期回报率G_t，根据所述长期回报率和梯度下降算法将所述参数w_t更新为w_t+1，包括：

计算所述长期回报率G_t；

其中，γ是预设的折扣因子，γ^k-1表示随着时间步t的增加，折扣因子的作用逐渐减小的变化，r_t+k表示从时间步t＝0开始的回报率；

计算在时间步t的参数w_t的梯度

其中，A(s_t)是所述题目状态s_t下所有可选择的动作集合，t表示时间步，

是选择动作a_t对应的题目，m(a_t)是动作a_t对应题目的下标，w_t是所述题目状态s_t下维度与题目特征相同的模型参数；

根据所述长期回报率G_t和时间步t的参数w_t的梯度

将中间参数Δw_t更新为Δw_t+1、将所述参数w_t更新为w_t+1；

其中，Δw_t是所述题目状态s_t下维度与题目特征相同的中间参数，所述中间参数Δw_t的初始指为0，γ^t表示随着时间步t的增加，折扣因子的作用逐渐减小，G_t是从时间步t＝0至t＝M-1的长期回报率，

是在时间步t的参数w_t的梯度；

w_t+1＝w_t+ηΔw_t+1；

其中，η是预设的学习率，w_t是所述题目状态s_t下维度与题目特征相同的模型参数，Δw_t+1是时间步t更新后的中间参数。

6.如权利要求4所述的一种题目推送方法，其特征在于：所述相关性标签

由题目难度和回答结果计算得到；

其中，

是题目

对应的题目难度，

是题目

的回答结果；

其中，N是题目的回答总人数，

代表题目

统计答错的人数，

代表题目统计答对的人数。

7.如权利要求1所述的一种题目推送方法，其特征在于：还包括：

接收推送题目的答题信息，将所述推送题目和所述答题信息加入所述历史做题数据；所述答题信息包括回答时间和回答结果。

8.一种题目推送装置，其特征在于，其包括：

历史做题获取分类模块，用于获取历史做题数据，根据所述历史做题数据的知识点对所述历史做题数据进行分类，每个知识点对应的历史做题数据构成一个题目数据集合；

关联性特征获取模块，用于将所述题目数据集合按时间顺序输入预设的循环神经网络模型，获得所述题目数据集合的关联性特征；

题库状态更新模块，用于获取预设的题库数据的当前答题特征，基于所述当前答题特征和所述关联性特征获得所述题库数据的题目状态s_t；

题目推送模块，用于根据所述题目状态s_t和马尔可夫决策过程，获得题目排队序列，选取所述排队序列中靠前的一个或多个题目作为目标题目，推送所述目标题目。

9.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时执行权利要求1至7任一项所述的题目推送方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述的题目推送方法。

Images