CN112559904B - 一种基于门机制和多模态图网络的会话社交推荐方法 - Google Patents

Abstract

本发明公开了一种基于门机制和多模态图网络的会话社交推荐方法。该方法基于用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。本方法主要由三个部分组成：第一部分采用长短期记忆网络生成不同模态空间下的当前会话向量表征，目标用户在不同模态空间下的当前会话向量表征即是不同模态空间下的用户兴趣向量表征。第二部分是采用基于门机制的多模态图网络从社交网络中得到不同模态下朋友对目标用户的社交影响。第三部分是综合考虑用户兴趣和社交影响，预测用户下一个点击的物品。

Description

一种基于门机制和多模态图网络的会话社交推荐方法

技术领域

本发明属于互联网服务技术领域，尤其是涉及一种基于门机制和多模态图网络的会话社交推荐方法。

背景技术

很多在线平台，例如Yelp、Epinions等，允许用户在平台上分享自己的兴趣和经历，以及和其他用户进行互动。用户在平台上的行为信息非常丰富，通常来说用户的兴趣是多样和多变的。很多社交推荐方法在推荐物品的时候，同时考虑用户的短期兴趣、用户长期兴趣和社交影响，可以降低数据的稀疏度。将用户交互行为数据和用户的社交网络进行互补地结合，提高个性化推荐方法准确度是本发明的出发点。

大多数社交推荐方法采用矩阵分解模型，将用户的社交网络和用户的交互网络结合起来建模。近几年，随着图卷积网络(GCN)的发展，有些学者开始使用图卷积网络来学习朋友对目标用户的社交影响。如song等人采用GraphSAGE得到朋友对目标用户的社交影响，GraphSAGE是Hamilton等人提出的一种图卷积网络方法，它不需要输入整个用户的社交网络矩阵，是一种时间复杂度换空间复杂度的图方法。

以上方法虽然取得不错的效果，但是没有考虑到物品特征的多模态性。Chen等人在物品表征阶段采用注意力机制对多种模态进行选择，并生成物品向量表征。该方法只能算是将多模态特征向量相连接组成物品向量这种方法的进阶版本，没有充分利用物品多模态的丰富信息。本方法先基于序列表征方法得到所有用户在不同模态下的兴趣向量表征，然后采用基于门机制的多模态图网络进行模态融合。多模态社交图网络中用户兴趣特征信息非常丰富，一种模态下的用户兴趣表征对另一种模态下的用户兴趣表征既是一种信息的补充，也是一种节点信息传递的制约。本方法在社交图网络中传递节点模态信息时，节点之间传递相同模态信息的过程受到源节点的两种模态信息共同控制，该控制方法正是普遍应用在循环神经网络中的门机制。

发明内容

本发明所要解决的技术问题是基于用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。本方法通过对用户兴趣和社交影响进行建模，来预测用户下一个点击的物品。为此，本发明采用以下技术方案：

一种基于门机制和多模态图网络的会话社交推荐方法，包括以下步骤：

构建目标用户u_i的社交网络G，令：

G＝{U,E}

其中，U表示社交网络中目标用户u_i的朋友集合，E是目标用户的社交连接。

使用长短期记忆网络生成不同模态空间下的会话向量表征，目标用户当前会话向量表征即是用户兴趣向量表征。构建用户会话向量表征，任一会话表示为S＝{v₁,v₂,…,v₀}。其中v_j是会话中第j个物品。构建用户会话向量表征采用长短期记忆网络(LSTM)：

z₇＝LSTM(Q(:,S))

其中，Q是物品的向量矩阵，Q(:,S)代表出现在会话S中所有的物品向量。LSTM具体公式为：

i_j＝σ(W_ix_j+U_ih_j-1+b_i)

f_j＝σ(W_fx_j+U_fh_j-1+b_f)

o_j＝σ(W_ox_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cx_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，不同模态的公式相同且参数不共享，因此公式中省略了模态参数m∈{a,b}。x_j是会话序列中第j个物品的向量表征。长短期记忆网络的最后一层的隐藏状态h_j的输出就是会话向量表征z₇。

和

分别是控制输入门i_j、遗忘门f₁和输出门o₁的参数，d代表物品向量的维度；σ为sigmoid函数；所有这些参数和输入：隐层状态h_1-1、当前输入x₁共同参与计算，来输出结果h₁。分别用长短期记忆网络对会话模态a的表示

和模态b的表示

进行特征建模，得到目标用户的兴趣向量表征

他的第l个朋友的表征为最近会话

的向量表征为

根据社交网络G，采用基于门机制的多模态图网络计算在不同模态下朋友对目标用户的社交影响。以下是多模态社交图网络中用户节点的模态a的信息传递过程：

其中，k代表社交网络G的搜索深度。N(i)是目标用户u_i的朋友集合，

代表节点u_i在k层模态a的向量表征，

初始化为向量

初始化为向量

和

是门参数，

是图参数，σ为sigmoid函数，AGGREGATE_l函数表示将目标用户的所有朋友N(i)节点信息聚合，采用平均值(MEAN)计算方法。CONCAT函数是向量拼接操作。图网络节点信息更新后的

即是模态a下朋友对目标用户的社交影响。

同样，多模态社交图网络中用户节点的模态b的信息传递过程相同，如下：

其中，k代表社交网络G的搜索深度。N(i)是目标用户u_i的朋友集合，

代表节点u_i在k层模态b的向量表征，

为向量

为向量

和

是门参数，

是图参数，σ为sigmoid函数，AGGREGATE_l函数表示将目标用户的所有朋友N(i)节点信息聚合，采用平均值(MEAN)计算方法。CONCAT函数是向量拼接操作。图网络节点信息更新后的

即是模态b下朋友对目标用户的社交影响。

结合目标用户兴趣和社交影响，获得用户最终向量表征。用户的兴趣由他当前会话行为和社交影响共同决定，用户的最终表示就由全连接层合并两者得到，令：

其中，

是线性转化矩阵，

为目标用户u_i行为表现出的多模态空间下的兴趣向量表征，

是多模态空间下的朋友对目标用户u_i的社交影响，⊕为向量拼接操作。

根据用户最终向量表征和物品向量表征，推荐物品。将物品v₁的向量

乘以用户兴趣向量

再应用softmax函数计算出物品v_j的分数；

其中，

和

代表用户在模态空间a和b下的兴趣向量，

和

是物品v₁在模态空间a和b下的向量表征。

代表物品v₁成为下一个交互的可能性。同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

本发明的有益技术效果如下：

(1)本发明提出了一种基于门机制和多模态图网络的会话社交推荐方法。采用基于门机制的多模态网络来解决多模态信息在多模态图网络的传递问题，节点之间传递相同模态信息的过程受到源节点的多种模态共同控制。

(2)本发明是一种多模态的会话推荐方法。生成用户兴趣表征时，考虑物品模态内的转换关系，用长短期记忆网络分别对用户当前会话序列的多种模态进行建模。

(3)本发明是一种多模态的社交推荐方法，综合考虑用户的在不同模态下的当前兴趣和用户的社交网络中朋友在不同模态下对该用户的社交影响，进行更准确的推荐。

附图说明

图1为本发明一种基于门机制和多模态图网络的会话社交推荐方法的流程示意图；

图2为本发明一种基于门机制和多模态图网络的会话社交推荐方法的模型框架图；

图3为本发明一种基于门机制和多模态图网络的会话社交推荐方法的图网络节点的信息传递示意图。

具体实施方式

为了进一步理解本发明，下面结合具体实施方式对本发明提供的一种基于门机制和多模态图网络的会话社交推荐方法进行具体描述，但本发明并不限于此，该领域技术人员在本发明核心指导思想下做出的非本质改进和调整，仍然属于本发明的保护范围。

会话社交推荐任务是给定用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。为了描述清楚，对用到的变量和公式给出相关定义。

定义1.U：用户集合。

定义2.V：物品集合。

定义3.G：关于用户和用户关系的社交网络。

定义4.N(i)：社交网络G中用户u_i的邻居集合。

定义6.

物品v₁的多模态向量表征，m∈{a,b}。物品模态a是主图，物品模态b是标题文字描述。

定义7.

物品v₁模态a的向量表征。

定义8.

物品v₁模态b的向量表征。

定义5.

用户u_i在当前时间会话的多模态表示，会话是一个时间段里的物品集合，且m∈{a,b}。会话在模态a下的表示是

会话在模态b下的表示是

定义9.

从用户行为得到的用户u_i的多模态下的兴趣向量表征，且m∈{a,b}。

定义10.

用户u_i的朋友们在不同模态空间下对用户u_i的社交影响。

定义11.

用户u_i的在不同模态空间下总的兴趣向量表征，通过综合考虑

和

得到。

为了给用户推荐下一步最可能感兴趣的物品，本发明提出了一种基于门机制和多模态图网络的会话社交推荐方法。本方法中物品的特征是多模态(multi-modal)的，特征包括物品主图和物品标题文字描述这两种模态。如何充分地利用物品的两种模态是本方法的重点，尤其是在社交网络中如何将两种模态进行有效融合。本方法先基于序列表征方法得到所有用户在不同模态下的兴趣向量表征，然后采用基于门机制的多模态图网络进行模态融合。基于门机制的多模态图网络是本方法的新颖之处。如图3所示，图3是多模态图网络中节点v₁向节点v₂的信息传递示意图。(a)子图是将同一节点的两个模态进行连接，当做一个整体来进行信息传递。(b)子图是单独对两个模态建图，只有相同模态之间才有信息传递，且相同模态之间的信息传递不受其他模态的影响。(c)子图是本方法提出的基于门机制的多模态图网络，该子图描述了节点模态a的信息传递过程，模态b的信息传递过程相同。捕捉相同模态之间的转换非常重要，但是节点v₁向节点v₂的相同模态信息传递过程应受到节点v₁其他模态信息的影响。社交图网络中用户兴趣特征信息非常丰富，其他模态下的用户兴趣表征既是一种信息的补充，也是一种节点信息传递的制约。本方法在社交图网络中传递节点模态信息时，节点v₁向节点v₂传递相同模态信息的过程受到节点v₁的两种模态共同控制，该控制方法正是普遍应用在循环神经网络中的门机制。

本方法主要由三个部分组成，如图2所示。第一部分采用长短期记忆网络生成不同模态空间下的当前会话向量表征，目标用户在不同模态空间下的当前会话向量表征即是不同模态空间下的用户兴趣向量表征。第二部分是采用基于门机制的多模态图网络从社交网络中得到不同模态下朋友对目标用户的社交影响。第三部分是综合考虑用户兴趣和社交影响，预测用户下一个点击的物品。

如图1所示，按照本发明的一个实施例，本方法包括如下步骤：

S100，构建目标用户u_i的社交网络G，令：

G＝{U,E}

其中，U表示社交网络中目标用户u_i的朋友集合，E是目标用户的社交连接。

S200，使用长短期记忆网络生成不同模态空间下的会话向量表征，目标用户当前会话向量表征即是用户兴趣向量表征。构建用户会话向量表征，任一会话表示为S＝{v₁,v₂,…,v₀}。其中v_j是会话中第j个物品。构建用户会话向量表征采用长短期记忆网络(LSTM)：

z_s＝LSTM(Q(:,S))

其中，Q是物品的向量矩阵，Q(:,S)代表出现在会话S中所有的物品向量。LSTM具体公式为：

i_j＝σ(W_ix_j+U_ih_j-1+b_i)

f_j＝σ(W_fx_j+U_fh_j-1+b_f)

o_j＝σ(W_ox_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cx_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，不同模态的公式相同且参数不共享，因此公式中省略了模态参数m∈{a,b}。x_j是会话序列中第j个物品的向量表征。长短期记忆网络的最后一层的隐藏状态h_j的输出就是会话向量表征z_s。

和

分别是控制输入门i_j、遗忘门f_j和输出门o_j的参数，d代表物品向量的维度；σ为sigmoid函数；所有这些参数和输入：隐层状态h_j-1、当前输入x_j共同参与计算，来输出结果h_j。分别用长短期记忆网络对会话模态a的表示

和模态b的表示

进行特征建模，得到目标用户的兴趣向量表征

他的第l个朋友的表征为最近会话

的向量表征为

S300，根据社交网络G，采用基于门机制的多模态图网络计算在不同模态下朋友对目标用户的社交影响。以下是多模态社交图网络中用户节点的模态a的信息传递过程：

其中，k代表社交网络G的搜索深度，本方法搜所深度设置为2。N(i)是目标用户u_i的朋友集合，

代表节点u_i在k层模态a的向量表征，

为向量

为向量

和

是门参数，

是图参数，σ为sigmoid函数，AGGREGATE_l函数表示将目标用户的所有朋友N(i)节点信息聚合，采用平均值(MEAN)计算方法。CONCAT函数是向量拼接操作。图网络节点信息更新后的

即是模态a下朋友对目标用户的社交影响。

同样，多模态社交图网络中用户节点的模态b的信息传递过程相同，如下：

其中，k代表社交网络G的搜索深度，本方法搜所深度设置为2。N(i)是目标用户u_i的朋友集合，

代表节点u_i在k层模态b的向量表征，

为向量

为向量

和

是门参数，

是图参数，σ为sigmoid函数，AGGREGATE_l函数表示将目标用户的所有朋友N(i)节点信息聚合，采用平均值(MEAN)计算方法。CONCAT函数是向量拼接操作。图网络节点信息更新后的

即是模态b下朋友对目标用户的社交影响。

S400，结合目标用户兴趣和社交影响，获得用户最终向量表征。用户的兴趣由他当前会话行为和社交影响共同决定，用户的最终表示就由全连接层合并两者得到，令：

其中，

是线性转化矩阵，

为目标用户u_i行为表现出的多模态空间下的兴趣向量表征，

是多模态空间下的朋友对目标用户u_i的社交影响，⊕为向量拼接操作。

S500，根据用户最终向量表征和物品向量表征，推荐物品。将物品v_j的向量

乘以用户兴趣向量

再应用softmax函数计算出物品v_j的分数：

其中，

和

代表用户在模态空间a和b下的兴趣向量，

和

是物品v_j在模态空间a和b下的向量表征。

代表物品v_j成为下一个交互的可能性。同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (3)

1.一种基于门机制和多模态图网络的会话社交推荐方法，其特征在于：

构建目标用户u_i的社交网络G，令：

G＝{U，E}

其中，U表示社交网络中目标用户u_i的朋友集合，E是目标用户的社交连接；

使用长短期记忆网络生成不同模态空间下的会话向量表征，目标用户当前会话向量表征即是用户兴趣向量表征；构建用户会话向量表征，任一会话表示为S＝{v₁，v₂，…，v_n}；其中v_j是会话中第j个物品；构建用户会话向量表征采用长短期记忆网络(LSTM)：

z_S＝LSTM(Q(：，S))

其中，Q是物品的向量矩阵，Q(：，S)代表出现在会话S中所有的物品向量；分别用长短期记忆网络对会话模态a的表示

和模态b的表示

进行特征建模，得到目标用户的兴趣向量表征

他的第l个朋友的表征为最近会话

的向量表征为

根据社交网络G，采用基于门机制的多模态图网络计算在不同模态下朋友对目标用户的社交影响；以下是多模态社交图网络中用户节点的模态a的信息传递过程：

其中，k代表社交网络G的搜索深度；N(i)是目标用户u_i的朋友集合，

代表节点u_i在k层模态a的向量表征，

初始化为向量

初始化为向量

W_a、W_b和c是门参数，W是图参数，σ为sigmoid函数，AGGREGATE_l函数表示将目标用户的所有朋友N(i)节点信息聚合，采用平均值(MEAN)计算方法；CONCAT函数是向量拼接操作；图网络节点信息更新后的

即是模态a下朋友对目标用户的社交影响；多模态社交图网络中用户节点的模态b的信息传递过程相同，得到

结合目标用户兴趣和社交影响，获得用户最终向量表征；用户的兴趣由他当前会话行为和社交影响共同决定，用户的最终表示就由全连接层合并两者得到，令：

其中，W₃是线性转化矩阵，

为目标用户u_i行为表现出的多模态空间下的兴趣向量表征，

是多模态空间下的朋友对目标用户u_i的社交影响，

为向量拼接操作；

根据用户最终向量表征和物品向量表征，推荐物品；将物品v_j的向量

乘以用户兴趣向量

再应用softmax函数计算出物品v_j的分数：

其中，

和

代表用户在模态空间a和b下的兴趣向量，

和

是物品v_j在模态空间a和b下的向量表征；

代表物品v_j成为下一个交互的可能性；同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

2.根据权利要求1所述的一种基于门机制和多模态图网络的会话社交推荐方法，其特征在于：所述长短期记忆网络(LSTM)结构为：

i_j＝σ(W_ix_j+U_ih_j-1+b_i)

f_j＝σ(W_fx_j+U_fh_j-1+b_f)

o_j＝σ(W_ox_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cx_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，不同模态的公式相同且参数不共享，因此公式中省略了模态参数m∈{a，b}；x_j是会话序列中第j个物品的向量表征；长短期记忆网络的最后一层的隐藏状态h_j的输出就是会话向量表征z_S；W_i、U_i、b_i和、W_f、U_f、b_f和W_o、U_o、b_o分别是控制输入门i_j、遗忘门f_j和输出门o_j的参数；W_c、U_c和b_c是控制单元状态c_j更新的参数；σ为sigmoid函数；所有这些参数和输入：隐层状态h_j-1、当前输入x_j共同参与计算，来输出结果h_j。

3.根据权利要求1所述的一种基于门机制和多模态图网络的会话社交推荐方法，其特征在于：多模态社交图网络中用户节点的模态b的信息传递过程具体为：

其中，k代表社交网络G的搜索深度；N(i)是目标用户u_i的朋友集合，

代表节点u_i在k层模态b的向量表征，

为向量

为向量

W_a′、W_b′和c′是门参数，W′是图参数，σ为sigmoid函数，AGGREGATE_l函数表示将目标用户的所有朋友N(i)节点信息聚合，采用平均值(MEAN)计算方法；CONCAT函数是向量拼接操作。

Images