CN113688315B - 一种基于无信息损失图编码的序列推荐方法 - Google Patents

Abstract

本发明的目的在于提供一种基于无信息损失图编码的序列推荐方法及模型，属于数据挖掘技术领域。该方法使用图神经网络对序列进行编码，针对现有序列推荐方法中无法充分挖掘序列物品间全局依赖关系的问题，基于无信息损失的图编码来合理量化序列中物品的时序关系，解决序列到序列图的编码过程中存在的信息损失问题，能够得到准确和完善的物品嵌入表示以及序列的嵌入表示，通过对每个候选物品合理打分，再根据分值完成对用户的商品推荐任务。相比其他传统的基于马尔科夫链和循环神经网络的方法，能基于关系矩阵更好的捕捉序列中物品的时序关系，挖掘在非相邻节点之间的远距离依赖关系。

Description

一种基于无信息损失图编码的序列推荐方法

技术领域

本发明属于数据挖掘技术领域，涉及序列推荐，具体涉及一种基于无信息损失图编码的序列推荐方法。

背景技术

推荐技术可以发掘用户感兴趣的内容和物品，已经在互联网中被广泛应用，尤其是在电子商务领域。用户通过客户端与服务器进行即时交互，最终完成商品购买，这个过程中，用户点击查看过的物品的顺序，被称为序列。基于序列的推荐是推荐技术领域一类新兴的研究方向。与一般的推荐技术不同，序列推荐技术主要应用于用户个人数据和档案无法长期保存的情况，即只基于用户与系统正在进行的当前序列的相关数据，挖掘用户的偏好和意图，预测用户最终的倾向，从而完成推荐。

早期的一些方法，采用马尔科夫链、循环神经网络等方法对序列进行建模，将序列建模为线性序列，对物品和序列进行表示以实现推荐，这些方法效果尚可。但已有的这些方法在对序列的多个物品之间复杂的转换关系进行建模的时候，只考虑了相邻物品之间的关联关系，并没有考虑到整个序列中全局的时序信息，即无法表达非相邻物品之间的时序关系，因此产生了信息的损失，使得数据本身的含义没有被合理表达，用户的偏好挖掘不够准确。

因此，能否采用更好的建模方法建模序列结构并充分挖掘序列内部全局的时序关系，最终完成更为精准的推荐，成为了待解决的问题。

发明内容

针对背景技术所存在的问题，本发明的目的在于提供一种基于无信息损失图编码的序列推荐方法。该方法使用图神经网络对序列进行编码，针对现有序列推荐方法中无法充分挖掘序列物品间全局依赖关系的问题，基于无信息损失的图编码来合理量化序列中物品的时序关系，解决序列到序列图的编码过程中存在的信息损失问题，能够得到准确和完善的物品嵌入表示以及序列的嵌入表示，通过对每个候选物品合理打分，再根据分值完成对用户的商品推荐任务。

为实现上述目的，本发明的技术方案如下：

一种基于无信息损失图编码的序列推荐方法，包括以下步骤：

步骤1、对源数据进行预处理：先将原始的序列数据中的无效数据剔除，得到待处理序列数据，对待处理序列数据进行初始化处理，得到物品初始嵌入表示，再基于物品初始嵌入表示得到序列初始嵌入表示，同时将待处理序列数据构造成[序列+标签]的标准形式；

步骤2、对步骤1待处理序列数据进行有向带权序列图的构建：首先将序列编码为无信息损失的序列图，以节点表示序列物品、边表示节点之间关系、边的方向表示物品之间的时序关系的有向带权图，边的权重值从小到大依次体现点击物品的先后时序关系，并将所有权重值进行映射处理，得到图对应的入度矩阵和出度矩阵；

步骤3、基于步骤2得到的向带权序列图的入度矩阵和出度矩阵构建关系矩阵，再基于关系矩阵构建图神经网络层，将步骤1得到的序列初始嵌入表示输入该图神经网络层，图神经网络层完成对序列物品的信息聚合，再通过门控循环单元(GRU)，输出序列物品聚合嵌入表示；

步骤4、基于自注意力机制，计算序列的每个物品的自注意力分数，将自注意力分数作为权重和将步骤3输出的序列物品聚合嵌入表示作为输入，计算加权和，得到整个序列的嵌入表示，再将该嵌入与序列的末尾物品的初始嵌入进行横向拼接，得到序列的全局嵌入表示；

步骤5、将步骤4序列的全局嵌入表示，与序列内每个物品的初始嵌入表示进行线性矩阵计算，得到每个物品相对于序列的评分矩阵，该评分矩阵通过softmax激活函数运算后输出对应物品的评分值，然后判断推荐模型是否处于模型训练阶段，若不是，则按照评分值的高低对序列内物品进行推荐；否则，将评分值用于反向传播，计算交叉熵损失值，根据损失值采用Adam优化器更新模型的参数，然后重新进行步骤1。

进一步地，步骤1中所述源数据为电子商务平台的用户历史序列数据。

进一步地，步骤1对源数据进行预处理的具体过程为：

步骤1.1.源数据是按行排列的序列物品的相关特征，首先将无关的特征列剔除，只保留物品所属的序列和物品编码两列特征；

步骤1.2.将长度等于1的序列所包含的物品数据直接剔除，该类数据属于无效数据，得到待处理序列数据，然后将待处理序列数据中的物品编码进行初始化处理，即可得到物品初始嵌入表示，将物品初始嵌入表示进行横向拼接，即可得到序列初始嵌入表示；

步骤1.3.同时将待处理序列数据构造成[序列+标签]的标准形式，所述标签用于模型训练的损失函数计算。

进一步地，步骤2中边的权值为自1开始的自然数。

进一步地，步骤3中图神经网络层完成对序列物品的信息聚合的具体过程为：

将步骤2得到的入度矩阵和出度矩阵横向拼接，得到序列图的关系矩阵A，再依据关系矩阵A，基于图神经网络层公式计算物品节点的聚合嵌入a：

a＝A[v₁,...,v_i]^TH+b

其中，i表示第i个物品，且i＝1,2,...n，H为单位矩阵，b为偏置矩阵，v_i表示物品的初始嵌入表示。

进一步地，步骤5中所述推荐模型包括数据预处理层、序列图编码层、图神经网络层、自注意力网络层和推荐决策层；

所述数据预处理层用于对输入数据进行预处理，得到序列数据的格式化结构，即物品和序列的初始嵌入表示；所述序列图编码层将序列数据编码为序列图结构；所述图神经网络层用于根据序列初始嵌入表示和序列图结构得到序列物品的最终聚合嵌入表示；所述自注意力网络层用于根据序列物品的最终聚合嵌入表示计算每个物品的自注意力分数，并与自身的嵌入进行加权求和，最后再拼接代表用户当前偏好的末尾物品初始嵌入表示，得到序列的全局嵌入表示；所述推荐决策层基于序列全局嵌入表示计算每个物品的评分值，根据该评分进行推荐或反向传播。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明提出一种无信息损失图编码的序列推荐方法，使得将序列编码为有向带权序列图后，数据中隐含的信息没有因为序列到序列图的转换产生丢失，数据的原本意义能够准确的被表达。

2.本发明基于图神经网络，对用户序列数据进行建模，相比其他传统的基于马尔科夫链和循环神经网络的方法，能基于关系矩阵更好的捕捉序列中物品的时序关系，挖掘在非相邻节点之间的远距离依赖关系。

附图说明

图1为本发明的图编码序列推荐方法的总体流程图。

图2为本发明推荐方法中的无信息损失的序列图编码过程示例图。

图3为本发明推荐方法中的基于门控循环单元的物品嵌入计算流程图。

图4为本发明推荐方法中的基于自注意力机制的全局嵌入计算方法示例图。

图5为本发明的图编码序列推荐过程的总体架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

一种基于无信息损失图编码的序列推荐方法，其总体流程图如图1所示，包括以下步骤：

步骤1、对电子商务平台的用户历史序列数据进行预处理，得到物品初始嵌入表示和序列初始嵌入表示，具体过程为：

步骤1.1、用户历史序列数据是按行排列的序列物品的相关特征，首先将无关的特征列剔除，只保留物品所属的序列和物品编码两列特征，序列表示用户点击物品的先后顺序，假设一个序列由四个物品的序列组成，每个物品由单个数字编号表示，四个物品的物品编码分别为：x₁ 214536502、x₂ 214662742、x₃ 214716935和x₄ 214706482，序列s＝[x₁,x₂,x₃,x₂,x₄]，每个结点i(i＝1,2,3,4)表示用户点击过的物品，序列s的长度为5，节点数为4；

步骤1.2、将长度等于1的序列所包含的物品数据直接剔除，该类数据属于无效数据，得到待处理序列数据；然后，将序列s中每个物品编码初始化为维度100的向量(使用pytorch框架的nn.embedding()方法)，即为结点x_i对应的每个物品初始嵌入表示v_i；将所有物品的初始嵌入表示进行横向拼接即可得到序列初始嵌入表示；

步骤1.3、同时，将剔除了无效数据后的待处理序列数据构造成[序列+标签]的标准形式，标签用于模型训练的损失函数计算(在测试和实施时，输入数据不需给出标签)，即为[x₁,x₂,x₃,x₂,x₄+x₄]，v₄为该条数据的标签；

步骤2、对步骤1剔除序列数据进行有向带权序列图的构建，具体过程为：

步骤2.1、构造有向序列图：以节点表示序列物品、边表示节点之间关系、边的方向表示相邻两个物品之间的时序关系的有向带权图，即对于每一个序列，都包含有数个物品，每两个相邻物品按点击先后时序关系进行排列，通过这些物品的时序关系，构造出一个有向的序列图，如图2(a)左图所示；

步骤2.2、构造有向带权序列图：按全局物品的时序关系，对步骤2.1中的序列图的有向边进行赋权，权值为自1开始的自然数，这些自然数表示该序列中用户点击所有物品的时序，如图2(a)右图所示；

步骤2.3、对步骤2.2中所有的权值，用双曲正切函数tanh()进行映射，即所有权重都被映射到0到1之间，得到有向带权序列图的入度矩阵和出度矩阵，如图2(b)所示；

步骤3、基于步骤2得到的有向带权序列图的入度矩阵和出度矩阵构造关系矩阵，再基于关系矩阵构建图神经网络层，将步骤1得到的序列初始嵌入表示输入该图神经网络层，图神经网络层完成对序列的信息聚合，得到序列物品的聚合嵌入a，再通过门控循环单元(GR U)，输出序列物品的聚合嵌入表示，具体过程为：

步骤3.1、基于步骤2得到的有向带权序列图的入度矩阵和出度矩阵横向拼接，得到序列图的关系矩阵A，按以下图神经网络层公式，计算序列物品的聚合嵌入a：

其中，H为单位矩阵，b为偏置矩阵，v_i表示物品的初始嵌入；

步骤3.2、基于门控循环单元GRU计算序列物品的最终嵌入表示

其流程如图3所示，构建门控循环单元(GRU)，计算重置门和更新门的值(重置门和更新门分别衡量序列内哪些物品的嵌入信息需要丢弃和保留)，具体实施步骤如下：

首先通过初始状态

(随机初始化的状态矩阵)和步骤3.1得到的聚合嵌入a计算重置门和更新门的门控状态

和

其中W^z、W^r和U^z、U^r都表示随机初始化后的参数矩阵，σ表示sigmoid函数；

结合聚合嵌入a，计算待记忆的信息

W和U为随机初始化后的参数矩阵；

通过

控制需要更新的信息，通过

控制需要遗忘的信息，得到序列物品的最终聚合嵌入表示

步骤4、基于自注意力机制，得到序列的全局嵌入表示，计算方法如图4所示，具体过程为：

步骤4.1、对于序列的每个物品本身，以第i个物品的最终聚合嵌入表示

计算对应的Q向量和自注意力分数m_i，公式中激活函数σ为softmax函数；

其中，

为序列中末尾的物品最终聚合嵌入表示，c为偏置参数矩阵，W₁和W₂为随机初始化的参数矩阵；

步骤4.2、将每个物品的最终聚合嵌入表示与对应的自注意力分数进行加权求和，作为在该序列中用户的长期偏好S_g的表达，S_g融合了序列图中所有其他节点的嵌入信息，计算公式为，

步骤4.3、将序列末尾物品的初始嵌入表示作为用户的当前偏好嵌入表达，并与4.2中的长期偏好S_g进行横向拼接，输出代表当前用户序列的全局偏好的嵌入表示；设用户的当前偏好嵌入为S₁，令S₁＝v_n，可以得到序列的嵌入表示S_h：

即通过将S₁和S_g横向拼接，并与参数矩阵W₃相乘完成线性变化，得到了充分融合了全局偏好和当前偏好的序列嵌入表示S_h；

步骤5、计算每个物品的评分值，按照评分值的高低对序列内物品进行推荐，具体过程为：

步骤5.1、将序列的全局嵌入表示S_h与序列内第i个物品的初始嵌入表示v_i进行线性矩阵计算，得到该物品相对于序列的评分矩阵，即对每个候选物品嵌入(v₁,v₂,v₃,v₄)计算得分

具体计算公式如下：

步骤5.2、基于softmax网络层对该评分矩阵进行处理，即将得分

经过一个softmax激活函数后得到物品评分值

该评分值是一个0到1之间的小数，代表该物品被推荐的概率；

步骤5.3、判断推荐模型是否处于模型训练阶段，若不是，则按照评分值的高低对序列内物品进行推荐；否则，将评分值可用于反向传播，根据交叉熵损失函数公式计算交叉熵损失值，根据损失值采用Adam优化器更新模型的参数，然后重新进行步骤1；

训练时，通过损失函数计算损失值，然后更新所有参数，采用Adam优化器，参数更新的学习率设置为0.003。

上述序列推荐方法所适用的推荐模型包括数据预处理层、序列图编码层、图神经网络层、自注意力网络层和推荐决策层；

所述数据预处理层用于对输入数据进行预处理，得到序列数据的格式化结构，即序列中物品和序列的初始嵌入表示；所述序列图编码层将序列数据编码为序列图结构；所述图神经网络层用于根据物品的初始嵌入表示和序列图结构得到物品的聚合嵌入表示；所述自注意力网络层用于根据物品的聚合嵌入表示计算每个物品的自注意力分数，并与自身的嵌入进行加权求和，最后再拼接代表用户当前偏好的末尾物品嵌入，得到最终的序列嵌入表示；所述推荐决策层基于序列的嵌入表示计算每个物品嵌入与序列嵌入的评分值，根据该评分进行推荐或反向传播。

图5为本发明的图编码序列推荐过程的总体架构图。如图5所示，v₁,v₂,v₃,v₄的推荐分数结果为0.3 0.2 0.1 0.4，按分值进行排序，最终得到推荐列表[商品4，商品1，商品2，商品3]，表明商品4最有可能是当前用户的偏好，推荐任务到此完成。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (6)

1.一种基于无信息损失图编码的序列推荐方法，其特征在于，包括以下步骤：

步骤1、对源数据进行预处理：先将原始的序列数据中的无效数据剔除，得到待处理序列数据，对待处理序列数据进行初始化处理，得到物品初始嵌入表示，再基于物品初始嵌入表示得到序列初始嵌入表示，同时将待处理序列数据构造成[序列+标签]的标准形式；

步骤2、对步骤1待处理序列数据进行有向带权序列图的构建：首先将序列编码为无信息损失的序列图，以节点表示序列物品、边表示节点之间关系、边的方向表示物品之间的时序关系的有向带权图，边的权重值从小到大依次体现点击物品的先后时序关系，并将所有权重值进行映射处理，得到图对应的入度矩阵和出度矩阵；

步骤3、基于步骤2得到的向带权序列图的入度矩阵和出度矩阵构建关系矩阵，再基于关系矩阵构建图神经网络层，将步骤1得到的序列初始嵌入表示输入该图神经网络层，图神经网络层完成对序列物品的信息聚合，再通过门控循环单元输出序列物品最终聚合嵌入表示；

步骤4、基于自注意力机制，计算序列的每个物品的自注意力分数，将自注意力分数作为权重和将步骤3输出的序列物品最终聚合嵌入表示作为输入，计算加权和，得到整个序列的嵌入表示，再将该嵌入与序列的末尾物品的初始嵌入表示进行横向拼接，得到序列的全局嵌入表示；

步骤5、将步骤4序列的全局嵌入表示，与序列内每个物品的初始嵌入表示进行线性矩阵计算，得到每个物品相对于序列的评分矩阵，该评分矩阵通过softmax激活函数运算后输出对应物品的评分值，然后判断推荐模型是否处于模型训练阶段，若不是，则按照评分值的高低对序列内物品进行推荐；否则，将评分值用于反向传播，计算交叉熵损失值，根据损失值采用优化器更新模型的参数，然后重新进行步骤1。

2.如权利要求1所述的基于无信息损失图编码的序列推荐方法，其特征在于，步骤1中所述源数据为电子商务平台的用户历史序列数据。

3.如权利要求1所述的基于无信息损失图编码的序列推荐方法，其特征在于，步骤1对源数据进行预处理的具体过程为：

步骤1.1.源数据是按行排列的序列物品的相关特征，首先将无关的特征列剔除，只保留物品所属的序列和物品编码两列特征；

步骤1.2.将长度等于1的序列所包含的物品数据直接剔除，得到待处理序列数据，然后将待处理序列数据中的物品编码进行初始化处理，即可得到物品初始嵌入表示，将物品初始嵌入表示进行横向拼接，即可得到序列初始嵌入表示；

步骤1.3.同时将待处理序列数据构造成[序列+标签]的标准形式，所述标签用于模型训练的损失函数计算。

4.如权利要求1所述的基于无信息损失图编码的序列推荐方法，其特征在于，步骤2中边的权值为自1开始的自然数。

5.如权利要求1所述的基于无信息损失图编码的序列推荐方法，其特征在于，步骤3中图神经网络层完成对序列物品的信息聚合的具体过程为：

将步骤2得到的入度矩阵和出度矩阵横向拼接，得到序列图的关系矩阵A，再依据关系矩阵A，基于图神经网络层公式计算物品节点的聚合嵌入a：

a＝A[v₁,...,v_i]^TH+b

其中，i表示第i个物品，且i＝1,2,...n，H为单位矩阵，b为偏置矩阵，v_i表示物品的初始嵌入表示。

6.如权利要求1所述的基于无信息损失图编码的序列推荐方法，其特征在于，步骤5中所述推荐模型包括数据预处理层、序列图编码层、图神经网络层、自注意力网络层和推荐决策层；

所述数据预处理层用于对输入数据进行预处理，得到序列数据的格式化结构，即物品和序列的初始嵌入表示；所述序列图编码层将序列数据编码为序列图结构；所述图神经网络层用于根据序列初始嵌入表示和序列图结构得到序列物品的最终聚合嵌入表示；所述自注意力网络层用于根据序列物品的最终聚合嵌入表示计算每个物品的自注意力分数，并与自身的嵌入进行加权求和，最后再拼接代表用户当前偏好的末尾物品初始嵌入表示，得到序列的全局嵌入表示；所述推荐决策层基于序列全局嵌入表示计算每个物品的评分值，根据该评分进行推荐或反向传播。

Images