CN111461455B - 一种基于关联周期注意力机制的行为预测方法 - Google Patents

Abstract

本发明公开了一种基于关联周期注意力机制的行为预测方法，首先根据日志记录收集用户的学习行为数据，通过独热向量实现离散特征连续化，再通过降维进行学习者行为特征构建；然后利用信息熵检测学习者行为周期为后面预测阶段服务；行为预测考虑序列行为和历史行为的双重影响对行为进行预测，将检测出的周期关联注意力机制为其找到注意目标，再将其引入预测基学习器LSTM中完成预测。相比于当前的行为预测方法，本发明突破性地综合考虑历史行为和序列事件的对当前行为的影响，并且创新性地结合关联周期的注意力机制大大提升了预测的准确度。

Description

一种基于关联周期注意力机制的行为预测方法

技术领域

本发明属于计算机技术领域，涉及一种行为预测方法，具体涉及一种基于关联周期注意力机制的行为预测方法；可以应用于面向大规模在线教育的学习者行为预测，具体是基于用户学习行为预测在某一时间段内该用户可能发生的有效学习行为。

背景技术

美国东北大学的科学家发现，93％的人类行为是可以预测的。东北大学著名教授艾伯特拉斯洛·巴拉巴斯和同事们对匿名手机用户的活动模式进行了研究，他们发现，虽然人们通常认为本实施例的行为举动是随意的，不可预测的，但令人惊讶的是，事实上，人类活动遵循着有规律的模式。他们的这一研究发表在《科学》杂志上。

随着信息技术与教育教学的深度融合，以MOOCs，可汗学院等为代表的学习革命正强烈冲击着传统教育的生态，彰显出大规模在线教育在重塑教育进程中的重要意义。由于在线教育缺乏传统教育的监管机制，导致用户流失现象的发生。用户退学的原因可能是学习资源不适合，学习能力不匹配、学习方式不正确或者用户之间缺乏交流而引起学习动机和驱动力不足等。因此如何避免大规模用户退学现象的发生，需要能够事先对学习者行为进行分析预测，基于行为预测的结果然后分析用户出现退学倾向的原因，最后采取相关措施进行干预或指导。

学习者行为预测是减少用户流失现象的第一步，因此需要基于用户过往一段时间的学习行为记录以预测用户在未来某个时间段内发生学习行为的概率。通常情况下，用户行为预测问题定义如下：给定用户u_i在某n个时间段内的行为序列 X，X＝(x₁，x₂，...x_j...，x_n)，x_j由j时刻学生行为记录组成x_j＝(x_j1，x_j2，，，x_ji)，分别是一串由0和1组成的向量，代表某个行为是否发生。预测用户在接下来的s 个时间内行为发生的概率值。

Encoder-Decoder是深度学习中常用框架，主要用于解决seq2seq问题，即sequenceto sequence的映射问题。针对序列数据的转换，通过编码解码的方式得到一组新序列数据。Encoder-Decoder框架可以处理文字，图像，音视频等，具体模块算法如CNN(Convolutional Neural Networks)，LSTM(Long Short-Term Memory)等。

Encoder-Decoder框架的发展是在原有模型的基础上添加注意力机制(Attentionmechanism，AM)，AM是指不再用分心模型而是选择某些输入放入更多的注意力，即在解码时，考虑不同输入对当前输出的影响程度，分配不同的权重比例进行解码。因此对于不同输出均需要计算出一组权重值并得到不同的中间状态值，具体框架如图1所示。

此时中间状态不再是单一的c，而是每次计算输出时得到不同的概率分布值并由此分配权重得到多个不同的中间状态值。Y₁＝f(c₁)，Y₂＝f(c₂，Y₁)，Y₃＝ f(c₃，Y₁，Y₂)

其中h_i是编码模块对第i个输入变换得到的中间状态值，w_i是第i个输入与当前第j个输出之间的相似度

发明内容

本发明的目的在于采用基于Attention机制的Encoder-Decoder的框架构建一个深度模型来实现对用户行为的预测，同时创新性地结合用户行为的周期性，由于用户的学习行为可能存在一定的周期性，即用户可能选择在每周固定的某一天进行课程学习，因此考虑到在序列事件中影响某一时刻的事件不仅仅是由序列事件产生，也包含历史行为的影响，也就是历史记录中某些特定时间段可能产生的影响。在原始Attention机制基础上改进，在计算每个输出时，不再计算所有输入与当前输出之间的相似度，而是通过发现和检测用户行为周期，找到能较大程度影响当前输出的输入集合再进行分配权重，然后将其作为预测模块的输入进行预测。最后通过序列时间的影响将预测模块隐藏状态初始化。综上，该方法不仅考虑到序列事件的惯性影响也挑选出历史行为中影响程度较大的事件，综合两者预测学习者行为可以提高准确性也增强了可解释性。

本发明所采用的技术方案是：一种基于关联周期注意力机制的行为预测方法，其特征在于，包括以下步骤：

步骤1：行为者行为的潜在周期检测；

用d₁，d₂，d₃，...，d_n表示某个用户每一天是否有有效的访问记录，如果第i次访问为有效的访问则d_i记为1，反之记为0；1≤i≤n；因此针对每个用户得到一个长度为n的0、1序列串S＝[d₁，d₂，d₃，...，d_n]，目的是对序列S分析找到其潜在的周期a；周期检测是从一串0、1数据中找到合适的划分方法，使得S中元素按照等长a划分为k段，使得S′＝{P₁，P₂，..，P_k}， P_i＝[d_a.(i-1)+1，d_a.(i-1)+2，...，d_(a·i)]；假设均匀分布为Q＝{1/k，1/k，...，1/k}，按照某个周期划分得到的分布为P，通过式(1)中交叉熵式子计算出两个分布之间的 KL距离，KL距离的计算实际上是对均匀分布的拟合，能衡量用Q分布去拟合 P分布信息的损耗，最终能衡量两个分布的相似度；

其中P(i)指的是在P_i中1出现的次数占总次数的比例；Q(i)指的需要拟合的均匀分布中的第i项为1/k；

基于交叉熵来计算实际周期划分与均匀分布之间的相似度；通过贪心算法周期从2到

依次遍历，基于KL散度距离找距离最小的K个组成候选周期集合 KD＝{a₁，a₂，..，a_K}，其中K为预设值；在满足分布周期性后仍需要满足结构周期性，即按照分布周期性划分后得到的每个子划分中1出现的相对位置要保持一致，采用类内距离进行衡量，将每个划分后的子序列当作质点P₁，P₂，..，P_k，计算质点间的距离总和，如果相对位置一样则质点间的距离为0，因此类内距离越小则在越小的置信度上满足结构周期性；

类内距离计算公式如下：

随后依次遍历满足一定分布周期性的候选周期集合KD＝{a₁，a₂，..，a_K}中的每一个周期，通过类内距离检测按照某个周期划分后子划分之间的距离之和，选择出类内距离最小的候选周期为最终的周期；

步骤2：基于深度模型的行为预测；

包括对行为者行为进行编码，找到每个行为向量的潜在表现形式，同时编码过程中也实现了行为偏好的累积，并基于编码得到的结果纪念性行为者行为周期的检测，包括分布周期性与结构周期性，随后通过检测出的周期完成注意力机制选择器的工作，最后通过引入关联周期的历史行为的影响与时序性时间的影响完成最终预测工作。

相对于现有技术，本发明的有益效果是：1、通过编码实现了数据的降维并且学习到行为偏好的累积以及序列特征信息。2、显著提高了行为预测的准确度，与现有的行为预测中只关注时间序列对后面行为影响的对比，还利用关联周期的 Attention机制将历史行为对当前行为的影响纳入考虑范围，既避免原有Attention 机制中大量的相似度计算，又针对性的找到核心影响时间段，大大提高了行为预测的准确度。3、模型的可解释性较强，模型适应各种形式的数据。

附图说明

图1为引入注意力机制的Encoder-Decoder框架；

图2为本发明实施例的流程图；

图3为行为编码结构图；

图4为本发明实施例的深度模型框架的结构示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

Encoder-Decoder能够很好的解决seq2seq问题，本实施例要解决的问题就是个时间序列的问题，因此使用Encoder-Decoder框架能够处理用户行为序列存在的内在关联。具体来说，在编码和解码阶段选择的模型是LSTM，它是RNN (Recurrent Neural Network)的变体，用于弥补RNN不能解决长期记忆的不足， LSTM通过引入细胞状态来实现状态的保留或遗忘。针对本实施例的任务需要在原始框架上做改进，原有框架在解码初始时刻开始新一轮预测链，然而现有问题在解码时需要解决两个问题，分别代表了历史行为与时间序列行为对当前输出时刻的影响。具体来说，历史行为影响是通过关联周期的AM完成，序列时间行为影响通过在解码初始时刻前一段时间开启新的一轮预测链。详细过程将在后面给出。

本发明专利首先通过数据预处理提取出有效的行为特征，对用户行为进行建模，再通过建模过的数据对每个用户进行行为周期检测，标记每个用户的行为周期，并引入Attention机制关联周期，最终通过框架中LSTM引入AM完成行为的预测任务。

详见图2，本发明提出一种基于关联周期注意力机制的行为预测方法，，具体有以下几个步骤：

步骤1：数据预处理

由于本实施例的目的是基于行为预测结果分析学习者是否会出现退学现象，因此本实施例先基于行为与退学现象之间的关联进行特征选择。先将给出的时间段的用户行为数据进行预处理，首先根据先验知识筛选出部分对退学影响较大的属性集合，将其转换为独热向量作为特征向量，X＝(x₁，x₂，...，x_t，...x_n)，其中 t为时间顺序，x_t＝(x_t1，x_t2，...，x_tk)为用户在t时间段的行为特征向量，当用户在t时间段内发生了行为i则x_ti置为1，反之置为0。

通过假设检验的方法，找出输入属性与输出值之间的关联系数，选择出影响较大的K个特征属性因素集合作为解决方案框架中的输入值，得到一组K维的独热向量，具体如下：

observed为实际值，expected为理论值，通过上式计算出各属性与退学之间的关联系数，挑选出TopK的属性作为用户行为特征向量。

步骤2：用户行为周期检测；

周期检测，用d₁，d₂，d₃，...，d_n表示某个用户每一天是否有有效的访问记录，如果第i次访问为有效的访问则d_i记为1，反之记为0；1≤i≤n；因此针对每个用户得到一个长度为n的0，1序列串S＝[d₁，d₂，d₃，...，d_n]，目的是对序列S分析找到其潜在的周期a。周期检测是从一串0、1数据中找到合适的划分方法，使得 S中元素按照等长a划分为k段，使得S′＝{P₁，P₂，..，P_k}， P_i＝[d_a.(i-1)+1，d_a.(i-1)+2，...，d_(a·i)]，通常一个行为的发生周期性的在序列中重复出现，则说明该行为具体周期性。本实施例的目的是找到合适的a值，使得划分后的每个区间中1出现的次数相同，并且在每个划分区间中1出现的相对位置相同。假设均匀分布为Q＝{1/k，1/k，...，1/k}，按照某个周期划分得到的分布为P，通过下面交叉熵式子计算出两个分布之间的KL距离(Kullback-Leibler Divergence)， KL距离的计算实际上是对均匀分布的拟合，能衡量用Q分布去拟合P分布信息的损耗，最终能衡量两个分布的相似度。

其中P(i)指的是在P_i中1出现的次数占总次数的比例；Q(i)指的需要拟合的均匀分布中的第i项为1/k。

基于交叉熵来计算实际周期划分与均匀分布之间的相似度；通过贪心算法周期从2到

依次遍历，基于KL散度距离找距离最小的K个组成候选周期集合 KD＝{a₁，a₂，..，a_K}，其中K为预设值；在满足分布周期性后仍需要满足结构周期性，即按照分布周期性划分后得到的每个子划分中1出现的相对位置要保持一致，本实施例采用类内距离进行衡量，将每个划分后的子序列当作质点 P₁，P₂，..，P_k，计算质点间的距离总和，如果相对位置一样则质点间的距离为0，因此类间距离越小则在越小的置信度上满足结构周期性。

类内距离计算公式如下：

随后依次遍历满足一定分布周期性的候选周期集合KD＝{a₁，a₂，..，a_K}中的每一个周期，通过类内距离检测按照某个周期划分后子划分之间的距离之和。选择出类内距离最小的候选周期为最终的周期。

具体周期检测方法如下算法。

步骤3：深度模型预测阶段；

详见图4，通过步骤1，2完成预测前的准备工作。已知用户n个时间段的行为，预测从n之后s个时间段内学习者可能发生的行为与概率。

步骤3.1：数据编码

详见图3，编码阶段，选择对从t₁到t_n每个时间段的行为进行编码。通过使用一个卷积神经网络(CNN)与一个LSTM对每个时刻的输入向量进行编码得到一组隐藏层的状态值。CNN是由一个一维卷积层，一个池化层和一个激活函数L-ReLUs组成，利用CNN共享的卷积核心能处理高维数据的强大优势，第一步对时序性数据进行初降维，也可以自动进行主要特征的提取，池化层进一步降低维数，有利于减少计算量与训练难度，也保留了重要特征，增加了卷积核感受野，一定程度上防止了过拟合。其中真正发挥作用的是一维的卷积核也叫做滤波器。将卷积层输出的结果Y＝{y₁，y₂，...，y_i，...，y_n}作为LSTM的输入，前一时刻得到的隐藏状态值都作为下一时刻的输入值，经过LSTM处理，详细的LSTM 控制门的工作流程为：

LSTM单元是通过三个门结构来控制信息的输入与遗忘的，三个门分别是输入门、遗忘门和输出门，对应的状态是i_t，f_t和o_t.。y_t是t时刻的输入，细胞输入状态是

细胞的输出状态是C_t，前一时刻细胞状态是C_t-1，隐藏层状态是h_t。

输入门：h_t-1和x_t通过一个称为输入门的操作来决定更新哪些信息

i_t＝σ(W_ih_t-1+U_iy_t+b_i) (6)

遗忘门：决定应当丢弃的信息，将前一个隐藏状态h_t-1的信息和当前输入x_t的信息同时传递到sigmoid函数中去。

f_t＝σ(W_fh_t-1+U_fy_t+b_f) (7)

输出门：当前细胞状态有多少可以实际输出。

o_t＝σ(W_oh_t-1+U_oy_t+b_o) (8)

细胞输入：

随后细胞输出状态是由前面时刻细胞状态与遗忘后剩余信息与当前细胞状态以及可以输出的部分相加，可以通过式计算：

最后隐藏层输出的状态是：

h_t＝o_t·tanh(C_t) (11)

其中W，U，b是对应于隐藏层，输入层和偏差向量的权重矩阵，它们都可以通过训练得到。另外，σ是激活函数，tanh表示双曲正切函数。本文中x_t均代表t时刻学习者的行为特征向量。

经过LSTM处理得到的隐藏状态H＝{h₁，h₂，...，h_i，...，h_n}。现将编码层输出 H＝{h₁，h₂，...，h_i，...，h_n}依次作为输入传递给解码的LSTM，并将得到的结果再传输到一个反卷积层，反卷积是卷积的逆过程，反卷积并不能还原出卷积之间的数据，但是能还原原始数据的尺寸，记忆可视化卷积的过程，其本质就是对于降维后的数据进行上采样，增加数据的维度得到X′＝{x₁′，x₂′，...，x_t′，...，x_n′}。

编码过程得到的是能代表行为序列特征的低维数据，再经过上采样与反卷积还原原始数据，通过最小化X′＝{x₁′，x₂′，...，x_t′，...，x_n′}与 X＝{x₁，x₂，...，x_t，...，x_n}之间的距离，采用了最小化平方误差MSE，具体计算如下：

经过减小损失函数训练得到最佳的隐藏状态H＝{h₁，h₂，...，h_i，..，h_n}取值。

此过程编码的目的有两个，第一个是实现降维也就是特征选择，将维数高的数据变成简单一点的低维数据，可以舍去一些没有意义的数据，降维后的向量也能代表原始数据包含的信息量；第二个是编码过程中能够从原始输入中提取到复杂的偏好以及序列信息，并不是将所有的历史信息中的时间与行为全部保存，这样做有利于后面行为预测中注意力机制选择出更相关的行为向量。

步骤3.2：注意力机制选择器；

通过步骤2中的周期检测算法得到用户的潜在周期a则代表用户行为周期为 a天，编码阶段最终得到H＝{h₁，h₂，...，h_i，...，h_n}，h_n代表t_n时间段对应的中间状态，给出需要预测的时间段(t_n+1，t_n+s)，假设当前预测的时刻为t_x，则 k＝t_xmod a，由此可以计算出注意力机制会从H中选择出的的隐藏状态集合 TR_in为k+i*a，其中

然后将TR_in中的每一元素所对应的隐藏层输出构成一个集合

由此选择器需要选择的目标确定，还需要确定每个目标应该赋予的权重，可以通过公式(13)和(14)计算：

c_t＝∑w_ih_i (13)

w_i＝softmax(f(h_i，h_curr)) (14)

其中w_i是h_i的权重系数，h_i是编码模块输出的隐藏状态，h_i∈H_select，h_curr表示解码时循环层的当前状态，f()是计算h_i和H相似度的函数，c_t则是基于周期与注意力机制选择器最终从编码层收集到的信息并作为预测的输入。

步骤3.3：隐藏层状态初始化与预测；

由于周期检测考虑到历史行为的影响，另需要引入时间序列的影响。预测模块重新开始一个LSTM链，该链初始时间段的选择是预测起始时间前一个周期，也就是编码阶段倒数第a个时间段t_n-a，从t_m-a到t_m得到初始化的隐藏层状态H₀。此时可能存在的问题是学习者在这一时间段没有行为，会存在行为矩阵稀疏的情况，利用学习者所在课程群体其他在当天有学习记录的其他学习者行为替代。因此预测模块的输入与初始化的隐藏层状态分别引入了历史周期行为的影响与序列事件的影响。最后通过全连接层嵌入对学习者行为影响较大的用户性别与学科类别完成预测。0表示女性和自然学科，1表示男性与非自然学科，将原始向量多增加两个维度。最终得到的向量表示每个行为可能发生的概率，由此完成行为者行为的预测。

因此，基于引入关联周期的AM的行为预测方法对用户行为预测综合考虑了历史行为对当前预测时刻的影响，也考虑了序列行为产生的影响，能更准确的预测用户行为。

本发明在基本的序列事件的预测上将历史行为纳入考虑的范围，在基础的预测结构上增加了基于周期的Attention机制，利用用户行为存在的周期性，改进了现有的Attention机制，通过处理用户已知行为数据观察检测到用户行为的潜在周期，根据检测到的周期a选择出对其影响较大的候选子集，为预测某一时刻的行为发生概率服务。在周期检测时，寻找出合适的周期a是在每个a区间内目标行为出现次数相同并且在各区间出现的相对位置一样。通过检测出的周期为 Attention机制的应用选择出候选子集再分配权重，其特点在于不再是简单的计算所有输入与当前时刻输出之间的相似度，而是根据周期先选择部分能真正对当前输出产生较大影响的输入集合，将其余输入舍去，该方法能够有效避免重复的相似度计算，有效缩小了候选集合并且将重点放在与当前输出关联较大的时间点上，能够提高预测的准确性。

本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (2)

1.一种基于关联周期注意力机制的行为预测方法，其特征在于，包括以下步骤：

步骤1：行为者行为的潜在周期检测；

用d₁,d₂,d₃,…,d_n表示某个用户每一天是否有有效的访问记录，如果第i次访问为有效的访问则d_i记为1，反之记为0；1≤i≤n；因此针对每个用户得到一个长度为n的0、1序列串S＝[d₁,d₂,d₃,…,d_n],目的是对序列S分析找到其潜在的周期a；周期检测是从一串0、1数据中找到合适的划分方法，使得S中元素按照等长a划分为k段，使得S′＝{P₁,P₂,..,P_k}，P_i＝[d_a·(i-1)+1,d_a·(i-1)+2,…,d_(a·i)]；假设均匀分布为Q＝{1/k,1/k,…,1/k},按照某个周期划分得到的分布为P，通过式(1)中交叉熵式子计算出两个分布之间的KL距离，KL距离的计算实际上是对均匀分布的拟合，能衡量用Q分布去拟合P分布信息的损耗，最终能衡量两个分布的相似度；

其中P(i)指的是在P_i中1出现的次数占总次数的比例；Q(i)指的需要拟合的均匀分布中的第i项为1/k；

基于交叉熵来计算实际周期划分与均匀分布之间的相似度；通过贪心算法周期从2到

依次遍历，基于KL距离找距离最小的K个组成候选周期集合KD＝{a₁,a₂,..,a_K}，其中K为预设值；在满足分布周期性后仍需要满足结构周期性，即按照分布周期性划分后得到的每个子划分中1出现的相对位置要保持一致，采用类内距离进行衡量，将每个划分后的子序列当作质点P₁,P₂,..,P_k，计算质点间的距离总和，如果相对位置一样则质点间的距离为0，因此类内距离越小则在越小的置信度上满足结构周期性；

类内距离计算公式如下：

随后依次遍历满足一定分布周期性的候选周期集合KD＝{a₁,a₂,..,a_K}中的每一个周期，通过类内距离检测按照某个周期划分后子划分之间的距离之和，选择出类内距离最小的候选周期为最终的周期；

步骤2：基于深度模型的行为预测；

包括对行为者行为记录的分析与特征选择，并基于此进行行为者行为周期的检测，包括分布周期性与结构周期性，随后通过检测出的周期完成注意力机制选择器的工作，最后通过引入关联周期的历史行为的影响与时序性时间的影响完成最终预测工作。

2.根据权利要求1所述的基于关联周期注意力机制的行为预测方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：编码；

选择对从t₁到t_n每个时间段的行为进行编码；通过使用一个卷积神经网络CNN与一个LSTM对每个时刻的输入向量进行编码得到一组隐藏层的状态值；CNN是由一个一维卷积层，一个池化层和一个激活函数L-ReLUs组成，利用CNN共享的卷积核心能处理高维数据的强大优势，第一步对时序性数据进行初降维；将卷积神经网络CNN卷积层输出的结果Y＝{y₁,y₂,…,y_i,…,y_n}作为LSTM的输入，前一时刻得到的隐藏状态值都作为下一时刻的输入值，经过LSTM遗忘门，输入门与输出门的处理得到的隐藏状态H＝{h₁,h₂,…,h_i,…,h_n}；再将编码层输出H＝{h₁,h₂,…,h_i,…,h_n}依次作为输入传递给解码的LSTM，并将得到的结果再传输到一个反卷积层，反卷积是卷积的逆过程，反卷积并不能还原出卷积之间的数据，但是能还原原始数据的尺寸，记忆可视化卷积的过程，其本质就是对于降维后的数据进行上采样，最终得到的数据为X′＝{x₁′,x₂′,…,x_t′,…,x_n′}；

编码过程得到的是能代表行为序列特征的低维数据，再经过上采样与反卷积还原原始数据，通过最小化X′＝{x₁′,x₂′,…,x_t′,…,x_n′}与X＝{x₁,x₂,…,x_t,…,x_n}之间的距离，采用了最小化平方误差MSE,具体计算如下：

经过减小损失函数训练得到最佳的隐藏状态H＝{h₁,h₂,…,h_i,…,h_n}取值；

步骤2.2：注意力机制选择器；

通过步骤1中周期检测算法得到用户的潜在周期a则代表用户行为周期为a天，编码阶段最终得到H＝{h₁,h₂,…,h_i,…,h_n},h_n代表t_n时间段对应的中间状态，给出需要预测的时间段(t_n+1,t_n+s)，假设当前预测的时刻为t_x,则k＝t_xmod a，由此计算出注意力机制会从H中选择出的隐藏状态集合TR_in为k+i*a,其中

然后将TR_in中的每一元素所对应的LSTM隐藏层输出构成一个集合

由此注意力机制选择器需要选择的目标确定，还需要确定每个目标应该赋予的权重，通过公式(5)计算：

c_t＝∑w_ih_i (5)

w_i＝softmax(f(h_i,h_curr)) (6)

其中w_i是h_i的权重系数，h_i是编码输出的隐藏状态，h_i∈H_select，h_curr表示解码时循环层的当前状态，f()是计算h_i和H相似度的函数，c_t则是基于周期与注意力机制选择器最终从编码层收集到的信息并作为预测的输入；

步骤2.3：隐藏层状态初始化与预测；

由步骤1中得到用户的行为周期a，给出需要预测的时间段(t_n+1,t_n+s)，重新开始一个LSTM链，该链初始时间段的选择是预测起始时间前一个周期，也就是编码阶段倒数第a个时间段t_n-a，从t_n-a到t_n得到初始化的隐藏层状态H₀；预测的输入与初始化的隐藏层状态分别引入了历史周期行为的影响与序列事件的影响；最后通过全连接层嵌入对行为者行为影响大于预设值的用户性别与学科类别完成预测；0表示女性和自然学科，1表示男性与非自然学科，将原始向量多增加两个维度；最终得到的向量表示每个行为可能发生的概率，由此完成行为者行为的预测。

Images