CN113704439B - 一种基于多来源信息异构图的会话推荐方法 - Google Patents

Abstract

本发明公开了一种基于多来源信息异构图的会话推荐方法。该方法根据匿名用户当前会话，对用户的兴趣进行建模，来推荐用户在下一步最可能感兴趣的物品。主要由四个部分组成：第一部分是计算当前会话和会话集合中的会话之间的相似度，召回相似的邻居会话集合，再对邻居会话集合中的物品转移进行整理和过滤，过滤掉出现次数较少的物品转移关系，再结合当前会话构建两种语义边的异构图；第二部分是采用多来源信息门机制在异构图中对节点的两种语义邻居节点信息进行选择和融合，得到当前会话中物品的向量表征；第三部分是对当前会话中的物品序列进行表征，得到当前用户兴趣表征；第四部分是根据用户兴趣表征，预测用户在下一步最可能感兴趣的物品。

Description

一种基于多来源信息异构图的会话推荐方法

技术领域

本发明属于互联网服务技术领域，尤其是涉及一种基于多来源信息异构图的会话推荐方法。

背景技术

会话(Session)是一个时间段内用户的交互行为，基于会话的推荐是基于当前会话推荐用户下一个点击的物品。在实际场景中，有些用户是匿名登录，无法获取该用户的历史交互行为数据以及用户详细信息。因此，只能基于该匿名用户的当前会话给用户推荐感兴趣的物品。传统的会话推荐方法有基于物品的协同过滤(Item-KNN)推荐方法，该方法通过计算候选集中的物品和当前会话中物品的相似度，来给用户推荐最相似的物品。近些年出现了基于会话的协同过滤方法(Session-KNN)，该方法将会话作为一个整体，通过计算会话之间的相似度来推荐。协同过滤算法忽略了会话中的物品转移关系，因此近些年更多的会话推荐方法中采用循环神经网络(RNN)或者循环神经网络(RNN)的变种，来学习会话中的物品序列信息。而基于循环神经网络的方法只能学习到会话中紧邻着的上一个物品到下一个物品的转移关系，而忽视了在同一个会话中物品的上下文关系。因此中科院的学者在2019年提出把当前会话建立为一个图(Graph)，来捕捉更当前会话中更丰富的物品转移关系，该方法名为用图神经网络进行会话推荐(SR-GNN)。但是该方法的图只是基于当前会话建立的，一个会话中物品的个数以及同一物品重复出现的次数都限制了该方法的效果。

因此，本方法提出一种基于多来源信息异构图的会话推荐方法。本方法基于当前会话，从最近会话序列中抽取较相似的邻居会话集合。然后，对邻居会话集合中的物品转移关系进行整理和过滤，过滤掉出现次数较少的物品转移关系，得到物品的普遍转移关系。再结合当前会话构建异构图。异构图中的节点是当前会话和邻居会话集合中出现的物品，而边有两种类型：一种边来源于当前会话中物品转移关系，也就是代表当前用户的兴趣转移。另外一种边是邻居会话中的转移关系，代表着物品的普遍转移规律。也就是这两种边的数据来源不同，代表的语义也不同。构建好异构图后，在异构图中进行节点的信息传递，得到物品表征。该异构图中两种语义的边数量差异较大，代表物品普遍转移关系的边的数量往往比代表当前会话中物品转移关系的数量多，这给图中的节点信息传递带来了困难。本方法采用多来源信息门机制来处理不同来源的信息传递，最终得到物品的向量表征。异构图中的多来源信息门机制既解决异构图中两种语义的不均衡分布，又能将两种语义信息融合到异构图中的物品节点内。最后再用循环神经网络对当前会话进行表征，得到用户的兴趣表征，并进行物品推荐。该方法通过构建异构图，充分地挖掘出物品之间的转移关系。

发明内容

本发明所要解决的技术问题是给定用户的当前会话，对用户的兴趣进行建模，来推荐用户在下一步最可能感兴趣的物品。在实际推荐场景中，往往会遇到匿名用户登录并浏览的行为。此时，用户的个人信息和用户历史浏览的记录都缺失，推荐方法只能基于当前会话进行推荐。因此，训练数据极为稀疏。为了缓解会话推荐过程中的数据稀疏问题，本方法通过会话相似度计算，召回系统中和当前会话相似的邻居会话。捕捉邻居会话和当前会话中物品转移关系，来提高推荐方法的表现。为此，本发明采用以下技术方案：

一种基于多来源信息异构图的会话推荐方法，包括以下步骤：

根据用户当前会话中的物品序列，召回邻居会话集合。本方法采用记忆矩阵M存储最近发生的会话。基于当前会话s＝{v₁，v₂，…，v_|s|}，从记忆矩阵M中找出最相似的k个会话作为当前会话s的邻居会话集合N_s。本方法通过计算当前会话和记忆矩阵M中的候选会话之间的cosine相似度，筛选出邻居会话集合N_s，相似度计算公式如下：

其中，s_j是记忆矩阵M中存储的任一会话。

是会话s的二进制向量表示，如果一个物品出现在会话中，那么s中对应位置为1，否则为0。同理，

是会话s_j的二进制向量表示。l(s)和l(s_j)分别代表了会话s和s_j的长度。对于记忆矩阵M中存储的所有会话，用公式sim(s，s_j)计算出和当前会话s的cosine相似度，把相似度低于阈值sim_thre的会话过滤掉，再按照cosine相似度由高到低排序，找出前k个会话作为当前会话s的邻居会话集合N_s。sim_thre设置小数值，可以增加推荐物品的多样性，sim_thre设置大数值，可以过滤掉更多的噪音。

对邻居会话集合进行处理，并结合用户当前会话构建异构图。异构图G中的节点为当前会话s和邻居会话集合N_s中出现的物品集合的并集。异构图G中的边是无向边，且存在两种语义的边：一种边来源于当前会话中物品转移关系，代表当前用户的兴趣转移。另外一种边来源于邻居会话中的物品转移关系，代表着物品的普遍转移规律。这两种边的数据来源不同，因此代表的语义也不同。当前会话s＝{v₁，v₂，…，v_|s|}中的(v_j-1，v_j)为异构图G的边，表示点击物品v_j-1之后，点击物品v_j。同理，邻居会话集合N_s中的会话中也可以构建出异构图G的另一种语义的边。先对邻居会话集合N_s中会话里出现的所有边的次数进行统计，过滤掉出现次数小于ε的边。出现次数小于ε的边被认为不能代表物品的普遍转移关系。此时，异构图G中存在两种来源的边，在异构图的表示中，边使用标志φ∈{inner，outer}进行区分，分别表示来源为当前会话内部(inner session)和邻居会话集合(也就是当前会话外部outer session)，代表的语义分别是当前用户兴趣转移和普遍物品转移规律。

基于异构图，采用多来源信息门机制得到当前会话中的物品向量表征。异构图中代表当前用户兴趣转移和代表普遍物品转移规律的边分布非常不均(imbalanced)。因此传统的图神经网络方法，如：GraphSAGE等无法应用在该场景下。如果将传统的图神经网络方法直接应用在该场景下，代表当前用户兴趣转移的边的影响会覆盖代表普遍物品转移规律的边的影响。并且传统的图神经网络方法，没法对这两种语义的边进行区分处理。这里，采用基于多来源信息门机制来进行异构图中的节点信息更新。异构图中有两种语义的边存在，因此对于目标物品节点v_i，存在两种语义邻居节。采用多来源信息门机制对目标物品节点v_i的两种语义邻居节点进行选择和汇集到目标物品节点v_i中。注意，这里的目标物品节点v_i属于当前会话中出现的物品，也就是只需要对出现在当前会话中的物品节点进行向量更新。目标物品节点v_i的最终向量表征x_i更新公式如下：

其中，c_i表示物品节点v_i的下标，矩阵

存放所有物品的向量表征，所以通过

获得物品节点v_i的向量表征v_i。

和

分别代表两种语义下的转换矩阵。将目标物品节点v_i的两种语义下的邻居节点集合

和

分别汇聚成两种语义下的邻居信息向量

和

和

分别表示

集合和

集合的个数。然后用基于

和v_i的多来源信息门机制得到门向量g_i，门向量g_i控制代表当前用户兴趣转移语义下的邻居信息向量

向量1-g_i控制普遍物品转移语义下的邻居信息向量

得到

这里，

和W_g是转换矩阵，sigmoid是sigmoid函数。也就是，不同语义下的邻居节点信息的传递采用多来源信息门机制来控制，而多来源信息门机制的信息输入是不同语义下的邻居和目标节点本身。最后，

和目标节点的原来向量表征v_i进行连接，并采用转换矩阵W_x转化成新的目标节点向量x_i，这里||表示向量的连接操作。

根据用户当前会话中物品序列，获得用户兴趣表征。得到所有物品的向量表征之后，采用门控制循环神经网络(GRU)对用户当前会话s＝{v₁，v₂，…，v_|s|}进行表征，得到会话表征，即用户当前兴趣表征：

z_i＝σ(W_xz·x_i+W_hz·h_i-1)

r_i＝σ(W_xr·x_i+W_hr·h_i-1)

其中，r_i是重置门(resetgate)，z_i为更新门(update gate)，这两个门控向量决定了哪些信息能作为门控循环单元的输出。

是当前记忆内容。x_i是当前层的节点输入。W_xz、W_hz、W_xr和W_hr分别是控制更新门z_i和重置门r_i的参数。W_xh和W_hh是控制前记忆内容

的参数。⊙是元素级别的矩阵相乘，σ是sigmoid函数。门控制循环神经网络(GRU)的最后一个隐藏层的输出h_|s|就是该会话表征，即用户当前兴趣表征p。

根据用户兴趣表征，推荐物品。将物品v_j的向量v_j乘以用户兴趣向量p，再应用softmax函数计算出物品v_j的分数：

其中，p代表用户的兴趣向量，

代表物品v_j成为下一个交互物品的可能性。同时根赫

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

本发明的有益技术效果如下：

(1)本发明基于当前会话，找出和当前会话相似的邻居会话集合。并从中挖掘出和当前会话中物品相关的普遍物品转移关系。在一定程度上缓解了数据的稀疏性，提升了推荐的准确度。

本发明基于当前会话中的物品转移关系和邻居会话中的物品普遍转移关系，构建出包含两种语义边的异构图。并在对图结构信息建模时，采用多来源信息门机构对两种语义信息进行控制。既解决异构图中两种语义的不均衡分布，又能将两种语义信息融合到异构图中的物品节点内。

附图说明

图1为本发明一种基于多来源信息异构图的会话推荐方法的流程示意图；

图2为本发明一种基于多来源信息异构图的会话推荐方法的模型框架图。

具体实施方式

为了进一步理解本发明，下面结合具体实施方式对本发明提供的一种基于多来源信息异构图的会话推荐方法进行具体描述，但本发明并不限于此，该领域技术人员在本发明核心指导思想下做出的非本质改进和调整，仍然属于本发明的保护范围。

首先，需要对用到的变量和公式给出相关定义。

定义1.V：物品集合，且V＝{v₁，v₂，…，v_|V|}，|V|代表物品集合中物品的数量。

定义2.s：当前会话，会话是一个时间段里的物品集合s＝{v₁，v₂，…，v_|s|}，|s|代表会话中物品的数量。

定义3.S：系统中的会话集合，S＝{s₁，s₂，…，s_|S|}，|S|代表会话集合中会话的数量。

定义4.N_s：会话s的邻居会话集合。

定义5.G：基于用户当前会话s和邻居会话集合N_s，构造出的异构图。

定义6.

异构图G中第i个节点的在φ语义下的邻居节点，φ∈{inner，outer}。

定义7.

物品v_j的向量表征。

定义8.P：当前会话的向量表征，也代表着用户兴趣向量表征。

结合以上变量定义，将最终的问题定义为：给定用户的当前会话s，会话推荐方法对用户的兴趣进行建模，来推荐用户在下一步最可能感兴趣的物品，物品是集合V的子集。

为此，本发明提出了一种基于多来源信息异构图的会话推荐方法。模型如图2所示，模型主要由四个模块组成。第一个模块是构建异构图，先计算当前会话和会话集合中的会话之间的相似度，召回相似的邻居会话集合。再对邻居会话集合中的物品转移关系进行整理和过滤，过滤掉出现次数较少的物品转移关系。然后结合当前会话构建异构图。异构图中的图节点是当前会话和邻居会话集合中出现的物品，而边有两种类型：一种边来源于当前会话中物品转移关系，也就是代表当前用户的兴趣转移。另外一种边是邻居会话中的转移关系，代表着物品的普遍转移规律。也就是这两种边的数据来源不同，因此代表的语义也不同。第二个模块是在异构图中进行节点的信息传递，从而得到物品表征。该异构图中的两种来源的边数量差异较大，代表物品普遍转移关系的边的数量往往比代表当前会话中物品转移关系的数量多，这给图中的节点信息传递带来了困难。本模块采用门机制来处理不同来源的信息传递，最终得到物品的向量表征。第三个模块是兴趣抽取模块，得到物品向量表征之后，本方法采用循环神经网络对当前会话中的物品序列进行表征，得到会话的向量表征，也就是当前用户的兴趣表征。最后一个模块是根据得到的用户兴趣表征进行物品推荐。

如图1所示，本发明的一个实施例包括如下步骤：

S100，根据用户当前会话中的物品序列，召回邻居会话集合。根据研究表明，最近发生的会话信息价值最高，比如电商场景中服饰、水果等都和时间有密切联系。本方法采用记忆矩阵M存储最近发生的会话，在本方法综合考虑算法效果和存储压力，设置记忆矩阵M存储的会话序列个数为10000。基于当前会话s＝{v₁，v₂，…，v_|s|}，从记忆矩阵M中找出最相似的k个会话作为当前会话s的邻居会话集合N_s。其中，k的取值为256。本方法通过计算当前会话和记忆矩阵M中的候选会话之间的cosine相似度，筛选出邻居会话集合N_s，相似度计算公式如下：

其中，s_j是记忆矩阵M中存储的任一会话。

是会话s的二进制向量表示，如果一个物品出现在会话中，那么s中对应位置为1，否则为0。同理，

是会话s_j的二进制向量表示。l(s)和l(s_j)分别代表了会话s和s_j的长度。对于记忆矩阵M中存储的所有会话，用公式sim(s，s_j)计算出和当前会话s的cosine相似度，把相似度低于阈值sim_thre的会话过滤掉，再按照cosine相似度由高到低排序，找出前k个会话作为当前会话s的邻居会话集合N_s。sim_thre设置小数值，可以增加推荐物品的多样性，sim_thre设置大数值，可以过滤掉更多的噪音。这里，sim_thre设置为0.3，k设置为256。

S200，对邻居会话集合进行处理，并结合用户当前会话构建异构图。从上一步骤中，已经得到用户当前会话s的邻居会话集合N_s。异构图G中的节点为当前会话s和邻居会话集合N_s中出现的物品集合的并集。异构图G中的边是无向边，且存在两种语义的边：一种边来源于当前会话中物品转移关系，代表当前用户的兴趣转移。另外一种边来源于邻居会话中的物品转移关系，代表着物品的普遍转移规律。这两种边的数据来源不同，因此代表的语义也不同。当前会话s＝{v₁，v₂，…，v_|s|}中的(v_j-1，v_j)为异构图G的边，表示点击物品v_j-1之后，点击物品v_j。同理，邻居会话集合N_s中的会话中也可以构建出异构图G的另一种语义的边。先对邻居会话集合N_s中的会话中出现的所有边出现的次数进行统计，过滤掉出现次数小于ε的边。出现次数小于ε的边被认为不能代表物品的普遍转移关系。这里ε设置为5。此时，异构图G中存在两种来源的边，在异构图的表示中，边使用标志φ∈{inner，outer}进行区分，分别表示来源为当前会话内部(inner session)和邻居会话集合(也就是当前会话外部outer session)，代表的语义分别是当前用户兴趣转移和普遍物品转移规律。

S300，基于异构图，采用多来源信息的门机制得到当前会话中的物品向量表征。异构图中代表当前用户兴趣转移和代表普遍物品转移规律的边分布非常不均(imbalanced)。因此传统的图神经网络方法，如：GraphSAGE等无法应用在该场景下。如果将传统的图神经网络方法直接应用在该场景下，代表当前用户兴趣转移的边的影响会覆盖代表普遍物品转移规律的边的影响。并且传统的图神经网络方法，没法对这两种语义的边进行区分处理。这里，采用基于多来源信息的门机制来进行异构图中的节点信息更新。目标节点v_i的最终向量表征聚集(aggregate)了两种语义边连接的邻居节点的信息，而两种语义的邻居节点的信息传递由多来源信息的门机制来控制。注意，这里的目标节点v_i属于当前会话中出现的物品，也就是只需要对出现在当前会话中的物品节点进行向量更新。目标节点v_i的最终向量表征x_i更新公式如下：

其中，c_i表示物品节点v_i的下标，矩阵

存放所有物品的向量表征，所以通过

获得物品节点v_i的向量表征v_i。

和

分别代表两种语义下的转换矩阵。将目标物品节点v_i的两种语义下的邻居节点集合

和

分别汇聚成两种语义下的邻居信息向量

和

和

分别表示

集合和

集合的个数。然后用基于

和v_i的多来源信息门机制得到门向量g_i，门向量g_i控制代表当前用户兴趣转移语义下的邻居信息向量

向量1-g_i控制普遍物品转移语义下的邻居信息向量

得到

这里，

和W_a是转换矩阵，sigmoid是sigmoid函数。也就是，不同语义下的邻居节点信息的传递采用多来源信息门机制来控制，而多来源信息门机制的信息输入是不同语义下的邻居和目标节点本身。最后，

和目标节点的原来向量表征v_i进行连接，并采用转换矩阵W_x转化成新的目标节点向量x_i，这里||表示向量的连接操作。

S400，根据用户当前会话中物品序列，获得用户兴趣表征。得到所有物品的向量表征之后，采用门控制循环神经网络(GRU)对用户当前会话s＝{v₁，v₂，…，v_|s|}进行表征，得到会话表征，即用户当前兴趣表征：

z_i＝σ(W_xz·x_i+W_hz·h_i-1)

r_i＝σ(W_xr·x_i+W_hr·h_i-1)

其中，r_i是重置门(resetgate)，z_i为更新门(update gate)，这两个门控向量决定了哪些信息能作为门控循环单元的输出。

是当前记忆内容。x_i是当前层的节点输入。W_xz、W_hz、W_xr和W_hr分别是控制更新门z_i和重置门r_i的参数。W_xh和W_hh是控制前记忆内容

的参数。⊙是元素级别的矩阵相乘，σ是sigmoid函数。门控制循环神经网络(GRU)的最后一个隐藏层的输出h_|s|就是该会话表征，即用户当前兴趣表征p。

S500，根据用户兴趣表征，推荐物品。将物品v_j的向量v_j乘以用户兴趣向量p，再应用soffmax函数计算出物品v_j的分数：

其中，p代表用户的兴趣向量，

代表物品v_j成为下一个交互物品的可能性。同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (2)

1.一种基于多来源信息异构图的会话推荐方法，其特征在于：

根据用户当前会话中的物品序列，召回邻居会话集合；本方法采用记忆矩阵M存储最近发生的会话；基于当前会话s＝{v₁，v₂，…，v_|s|}，从记忆矩阵M中用cosine相似度找出最相似的k个会话作为当前会话s的邻居会话集合N_s，cosine相似度计算公式如下：

其中，s_j是记忆矩阵M中存储的任一会话；

是会话s的二进制向量表示，如果一个物品出现在会话中，那么s中对应位置为1，否则为0；同理，

是会话s_j的二进制向量表示；l(s)和l(s_j)分别代表了会话s和s_j的长度；对于记忆矩阵M中存储的所有会话，用公式sim(s，s_j)计算出和当前会话s的cosine相似度，把相似度低于阈值sim_thre的会话过滤掉，再按照cosine相似度由高到低排序，找出前k个会话作为当前会话s的邻居会话集合N_s；sim_thre设置小数值，可以增加推荐物品的多样性，sim_thre设置大数值，可以过滤掉更多的噪音；

对邻居会话集合进行处理，并结合用户当前会话构建异构图；异构图G中的节点为当前会话s和邻居会话集合N_s中出现的物品集合的并集；异构图G中的边是无向边，且存在两种语义的边：一种边来源于当前会话中物品转移关系，代表当前用户的兴趣转移；另外一种边来源于邻居会话中的物品转移关系，代表着物品的普遍转移规律；这两种边的数据来源不同，因此代表的语义也不同；当前会话s＝{v₁，v₂，…，v_|s|}中的(v_j-1，v_j)为异构图G的边，表示点击物品v_j-1之后，点击物品v_j；同理，邻居会话集合N_s中的会话中也可以构建出异构图G的另一种语义的边；先对邻居会话集合N_s中会话里出现的所有边的次数进行统计，过滤掉出现次数小于ε的边；出现次数小于ε的边被认为不能代表物品的普遍转移关系；此时，异构图G中存在两种来源的边，在异构图的表示中，边使用标志φ∈{inner，outer}进行区分，分别表示来源为当前会话内部和邻居会话集合，代表的语义分别是当前用户兴趣转移和普遍物品转移规律；

基于异构图，采用多来源信息门机制得到当前会话中的物品向量表征；异构图中有两种语义的边存在，因此对于目标物品节点v_i，存在两种语义邻居节点；采用多来源信息门机制对目标物品节点v_i的两种语义邻居节点进行选择和汇集到目标物品节点v_i中；注意，这里的目标物品节点v_i属于当前会话中出现的物品，也就是只需要对出现在当前会话中的物品节点进行向量更新；目标节点v_i的最终向量表征x_i更新公式如下：

其中，c_i表示物品节点v_i的下标，矩阵

存放所有物品的向量表征，所以通过

获得物品节点v_i的向量表征v_i；

和

分别代表两种语义下的转换矩阵；将目标物品节点v_i的两种语义下的邻居节点集合

和

分别汇聚成两种语义下的邻居信息向量

和

和

分别表示

集合和

集合的个数；然后用基于

和v_i的多来源信息门机制得到门向量g_i，门向量g_i控制代表当前用户兴趣转移语义下的邻居信息向量

向量1-g_i控制普遍物品转移语义下的邻居信息向量

得到

这里，

和W_g是转换矩阵，sigmoid是sigmoid函数；也就是，不同语义下的邻居节点信息的传递采用多来源信息门机制来控制，而多来源信息门机制的信息输入是不同语义下的邻居和目标节点本身；最后，

和目标节点的原来向量表征v_i进行连接，并采用转换矩阵W_x转化成新的目标节点向量x_i，这里||表示向量的连接操作；

根据用户当前会话中物品序列，获得用户兴趣表征；得到所有物品的向量表征之后，采用门控制循环神经网络(GRU)对用户当前会话s＝{v₁，v₂，…，v_|s|}进行表征，得到会话表征，即用户当前兴趣表征p；

根据用户兴趣表征，推荐物品；将物品v_j的向量v_j乘以用户兴趣向量p，再应用softmax函数计算出物品v_j的分数：

其中，p代表用户的兴趣向量，

代表物品v_j成为下一个交互物品的可能性；同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

2.根据权利要求1所述的一种基于多来源信息异构图的会话推荐方法，其特征在于：所述门控制循环神经网络(GRU)为：

z_i＝σ(W_xz·x_i+W_hz·h_i-1)

r_i＝σ(W_xr·x_i+W_hr·h_i-1)

其中，r_i是重置门，z_i为更新门，这两个门控向量决定了哪些信息能作为门控循环单元的输出；

是当前记忆内容；x_i是当前层的节点输入；W_xz、W_hz、W_xr和W_hr分别是控制更新门z_i和重置门r_i的参数；W_xh和W_hh是控制前记忆内容

的参数；⊙是元素级别的矩阵相乘，σ是sigmoid函数；门控制循环神经网络(GRU)的最后一个隐藏层的输出h_|s|就是该会话表征，即用户当前兴趣表征p。

Images