CN112685657B - 一种基于多模态交叉融合图网络的会话社交推荐方法 - Google Patents

Abstract

本发明公开了一种基于多模态交叉融合图网络的会话社交推荐方法。该方法基于用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。本方法主要由三个部分组成：第一部分采用长短期记忆网络生成不同模态空间下的当前会话向量表征，目标用户在不同模态空间下的当前会话向量表征即是不同模态空间下的用户兴趣向量表征。第二部分是采用基于动态路由的多模态图网络从社交网络中得到朋友对目标用户的社交影响。第三部分是综合考虑用户兴趣和社交影响，预测用户下一个点击的物品。

Description

一种基于多模态交叉融合图网络的会话社交推荐方法

技术领域

本发明属于互联网服务技术领域，尤其是涉及一种基于多模态交叉融合图网络的会话社交推荐方法。

背景技术

很多在线平台，例如Yelp、Epinions等，允许用户在平台上分享自己的兴趣和经历，以及和其他用户进行互动。用户在平台上的行为信息非常丰富，通常来说用户的兴趣是多样和多变的。很多社交推荐方法在推荐物品的时候，同时考虑用户的兴趣和社交影响，可以降低数据的稀疏度。将用户交互行为数据和用户的社交网络进行互补地结合，提高个性化推荐方法准确度是本发明的出发点。

大多数社交推荐方法采用矩阵分解模型，将用户的社交网络和用户的交互网络结合起来建模。近几年，随着图卷积网络(GCN)的发展，有些学者开始使用图卷积网络来学习朋友对目标用户的社交影响。如song等人采用GraphSAGE得到朋友对目标用户的社交影响，GraphSAGE是Hamilton等人提出的一种图卷积网络方法，它不需要输入整个用户的社交网络矩阵，是一种时间复杂度换空间复杂度的图方法。

以上方法虽然取得不错的效果，但是没有考虑到物品特征的多模态性。Chen等人在物品表征阶段采用注意力机制对多种模态进行选择，并生成物品向量表征。该方法只能算是将多模态特征向量相连接组成物品向量这种方法的进阶版本，没有充分利用物品多模态的丰富信息。本方法先基于序列表征方法得到所有用户在不同模态下的兴趣向量表征，然后采用基于动态路由的多模态图网络进行模态融合。多模态社交图网络中用户兴趣特征信息非常丰富，朋友不同模态下的兴趣表征同时对目标用户的兴趣表征产生社交影响，且不同模态产生的社交影响之间是有联系的。本方法受到胶囊网络启发，采用动态路由来学习和更新这种联系。同时，通过改进原始胶囊网络中动态路由的归一化方式，学习不同朋友的不同模态对目标用户模态的重要度。

发明内容

本发明所要解决的技术问题是基于用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。本方法通过对用户兴趣和社交影响进行建模，来预测用户下一个点击的物品。为此，本发明采用以下技术方案：

一种基于多模态交叉融合图网络的会话社交推荐方法，包括以下步骤：

构建目标用户u_i的社交网络G，令：

G＝{U,E}

其中，U表示社交网络中目标用户u_i的朋友集合，E是目标用户的社交连接。

使用长短期记忆网络生成不同模态空间下的会话向量表征，目标用户当前会话向量表征即是用户兴趣向量表征。构建用户会话向量表征，任一会话表示为S＝{v₁,v₂,…,v₀}。其中v_j是会话中第j个物品。构建用户会话向量表征采用长短期记忆网络(LSTM)：

z_S＝LSTM(Q(:,S))

其中，Q是物品的向量矩阵，Q(:,S)代表出现在会话S中所有的物品向量。LSTM具体公式为：

i_j＝σ(W_ix_j+U_ih_j-1+b_i)

f_j＝σ(W_fx_j+U_fh_j-1+b_f)

o_j＝σ(W_ox_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cx_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，不同模态的公式相同且参数不共享，因此公式中省略了模态参数m∈{a,b}。x_j是会话序列中第j个物品的向量表征。长短期记忆网络的最后一层的隐藏状态h_j的输出就是会话向量表征z_S。

和

分别是控制输入门i_j、遗忘门f_j和输出门o_j的参数，d代表物品向量的维度；σ为sigmoid函数；所有这些参数和输入：隐层状态h_j-1、当前输入x_j共同参与计算，来输出结果h_j。分别用长短期记忆网络对会话模态a的表示

和模态b的表示

进行特征建模，得到目标用户的兴趣向量表征

m∈{a,b}。他的第l个朋友的表征为最近会话

的向量表征为

根据社交网络G，采用基于动态路由的多模态图网络计算朋友对目标用户的社交影响。以下是多模态社交图网络中目标用户的朋友兴趣特征对目标用户模态a的社交影响的计算过程：

其中，

是模态m，m∈{a,b}到模态a的转换矩阵。

是目标用户第l个朋友在模态m下的兴趣向量表征,

是目标用户u_i在模态a下的兴趣向量表征。r代表动态路由的迭代次数。

是目标用户第l个朋友的模态m到目标用户u_i模态a的连接参数，

是参数

归一化后的连接参数。softmax_l为softmax函数，可以得到不同朋友的不同模态对目标用户模态a的重要程度。AGGREGATE_l函数表示将目标用户的所有朋友信息聚合，采用求和(SUM)计算方法。squash是胶囊网络中常用的squash向量激活函数。N(i)是目标用户u_i的朋友集合，图网络节点信息更新后的

即是朋友对目标用户模态特征a的社交影响。以上是朋友对目标用户模态a的社交影响计算过程，朋友对目标用户模态b的社交影响计算过程相同。而本方法

借鉴于注意力机制中的归一化方式。具体公式如下：

结合目标用户兴趣和社交影响，获得用户最终向量表征。用户的兴趣由他当前会话行为和社交影响共同决定，用户的最终表示就由全连接层合并两者得到，令：

其中，

是线性转化矩阵，

m∈{a,b}为目标用户u_i行为表现出的多模态空间下的兴趣向量表征，

是多模态空间下的朋友对目标用户u_i的社交影响，

为向量拼接操作。

根据用户最终向量表征和物品向量表征，推荐物品。将物品v_j的向量

乘以用户兴趣向量

再应用softmax函数计算出物品v_j的分数：

其中，

和

代表用户在模态空间a和b下的兴趣向量，

和

是物品v_j在模态空间a和b下的向量表征。

代表物品v_j成为下一个交互的可能性。同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

本发明的有益技术效果如下：

(1)本发明采用基于动态路由的多模态图网络来解决多模态信息在多模态图网络的传递问题，源节点的不同模态向目标节点的信息传递过程是互相影响的。

(2)本发明同时也是一种基于注意力机制的图网络，通过改进原始胶囊网络中动态路由的连接系数的归一化方式，可以得到不同朋友的不同模态对目标用户的重要度。

(3)本发明是一种多模态的会话推荐方法。生成用户兴趣表征时，考虑物品模态内的转换关系，用长短期记忆网络分别对用户当前会话序列的多种模态进行建模。

附图说明

图1为本发明一种基于多模态交叉融合图网络的会话社交推荐方法的流程示意图；

图2为本发明一种基于多模态交叉融合图网络的会话社交推荐方法的模型框架图；

图3为本发明一种基于多模态交叉融合图网络的会话社交推荐方法的图网络节点的信息传递示意图。

具体实施方式

为了进一步理解本发明，下面结合具体实施方式对本发明提供的一种基于多模态交叉融合图网络的会话社交推荐方法进行具体描述，但本发明并不限于此，该领域技术人员在本发明核心指导思想下做出的非本质改进和调整，仍然属于本发明的保护范围。

会话社交推荐任务是给定用户历史交互序列和社交网络关系，对用户的兴趣和社交影响进行建模，来推荐用户在下一步最可能感兴趣的物品。为了描述清楚，对用到的变量和公式给出相关定义。

定义1.U：用户集合。

定义2.V：物品集合。

定义3.G：关于用户和用户关系的社交网络。

定义4.N(i)：社交网络G中用户u_i的邻居集合。

定义6.

物品v_j的多模态向量表征，m∈{a,b}。物品模态a是主图，物品模态b是标题文字描述。

定义7.

物品v_j模态a的向量表征。

定义8.

物品v_j模态b的向量表征。

定义5.

用户u_i在当前时间会话的多模态表示，会话是一个时间段里的物品集合，且m∈{a,b}。会话在模态a下的表示是

会话在模态b下的表示是

定义9.

从用户行为得到的用户u_i的多模态下的兴趣向量表征，且m∈{a,b}。

定义10.

用户u_i的朋友们的兴趣对用户u_i不同模态兴趣的社交影响。

定义11.

用户u_i的在不同模态空间下总的兴趣向量表征，通过综合考虑

和

得到。

为了给用户推荐下一步最可能感兴趣的物品，本发明提出了一种基于多模态交叉融合图网络的会话社交推荐方法。本方法中物品的特征是多模态(multi-modal)的，特征包括物品主图和物品标题文字描述这两种模态。如何在社交网络中将两种模态进行有效融合是本方法的重点。本方法先基于序列表征方法得到所有用户在不同模态下的兴趣向量表征，然后采用基于动态路由的多模态图网络进行模态融合。基于动态路由的多模态图网络是本方法的新颖之处。如图3所示，图3是多模态图网络中节点v₁向节点v₂的信息传递示意图。(a)、(b)和(c)子图是介绍其他已有的方法，(d)子图是本发明中提出的方法。(a)子图是将同一节点的两个模态进行连接，当做一个整体来进行信息传递。(b)子图是单独对两个模态建图，只有相同模态之间才有信息传递，且相同模态之间的信息传递不受其他模态的影响。(c)子图既考虑节点间相同模态之间的信息传递，又考虑不同模态之间的信息传递。但是没有考虑到同一节点的不同模态信息向邻居节点传递信息过程的联系。(d)子图是本方法提出的基于动态路由的多模态图网络。节点v_,的不同模态在向节点v₂的传递信息的过程是互相影响的。连接系数c控制节点v₁模态特征向节点v₂传递信息的多少，代表节点v₁模态特征的重要程度。节点v₁的a模态特征

和b模态特征

向节点v₂传递信息的动态路由参数c^aa和c^ba由节点v₁的a模态特征

和b模态特征

共同决定，且动态路由参数c^aa和c^ba互相影响。也就是节点v₁的a模态特征

向节点v₂传递信息过程受到节点v₁的b模态特征

影响，同样，节点v₁的b模态特征

向节点v₂传递信息过程也受到节点v₁的a模态特征

影响。

本方法主要由三个部分组成，如图2所示。第一部分采用长短期记忆网络生成不同模态空间下的当前会话向量表征，目标用户在不同模态空间下的当前会话向量表征即是不同模态空间下的用户兴趣向量表征。第二部分是采用基于动态路由的多模态图网络从社交网络中得到朋友对目标用户的社交影响。第三部分是综合考虑用户兴趣和社交影响，预测用户下一个点击的物品。

如图1所示，按照本发明的一个实施例，本方法包括如下步骤：

S100，构建目标用户u_i的社交网络G，令：

G＝{U,E}

其中，U表示社交网络中目标用户u_i的朋友集合，E是目标用户的社交连接。

S200，使用长短期记忆网络生成不同模态空间下的会话向量表征，目标用户当前会话向量表征即是用户兴趣向量表征。构建用户会话向量表征，任一会话表示为S＝{v₁,v₂,…,v₀}。其中v_j是会话中第j个物品。构建用户会话向量表征采用长短期记忆网络(LSTM)：

z_S＝LSTM(Q(:,S))

其中，Q是物品的向量矩阵，Q(:,S)代表出现在会话S中所有的物品向量。LSTM具体公式为：

i_j＝σ(W_ix_j+U_ih_j-1+b_i)

f_j＝σ(W_fx_j+U_fh_j-1+b_f)

o_j＝σ(W_ox_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cx_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，不同模态的公式相同且参数不共享，因此公式中省略了模态参数m∈{a,b}。x_j是会话序列中第j个物品的向量表征。长短期记忆网络的最后一层的隐藏状态h_j的输出就是会话向量表征z_S。

和

分别是控制输入门i_j、遗忘门f_j和输出门o_j的参数，d代表物品向量的维度；σ为sigmoid函数；所有这些参数和输入：隐层状态h_j-1、当前输入x_j共同参与计算，来输出结果h_j。分别用长短期记忆网络对会话模态a的表示

和模态b的表示

进行特征建模，得到目标用户的兴趣向量表征

m∈{a,b}。他的第l个朋友的表征为最近会话

的向量表征为

m∈{a,b}。

S300，根据社交网络G，采用基于动态路由的多模态图网络计算朋友对目标用户的社交影响。以下是多模态社交图网络中目标用户的朋友兴趣特征对目标用户模态a的社交影响的计算过程：

其中，

是模态m，m∈{a,b}到模态a的转换矩阵。

是目标用户第l个朋友在模态m下的兴趣向量表征,

是目标用户u_i在模态a下的兴趣向量表征。r代表动态路由的迭代次数。

是目标用户第l个朋友的模态m到目标用户u_i模态a的连接参数，

是参数

归一化后的连接参数。softmax_l为softmax函数，可以得到不同朋友的不同模态对目标用户模态a的重要程度。AGGREGATE_l函数表示将目标用户的所有朋友信息聚合，采用求和(SUM)计算方法。squash是胶囊网络中常用的squash向量激活函数。N(i)是目标用户u_i的朋友集合，图网络节点信息更新后的

即是朋友对目标用户模态特征a的社交影响。以上是朋友对目标用户模态a的社交影响计算过程，朋友对目标用户模态b的社交影响计算过程相同。而本方法

借鉴于注意力机制中的归一化方式。具体公式如下：

S400，结合目标用户兴趣和社交影响，获得用户最终向量表征。用户的兴趣由他当前会话行为和社交影响共同决定，用户的最终表示就由全连接层合并两者得到，令：

其中，

是线性转化矩阵，

为目标用户u_i行为表现出的多模态空间下的兴趣向量表征，

是多模态空间下的朋友对目标用户u_i的社交影响，

为向量拼接操作。

S500，根据用户最终向量表征和物品向量表征，推荐物品。将物品v_j的向量

乘以用户兴趣向量

再应用softmax函数计算出物品v_j的分数：

其中，

和

代表用户在模态空间a和b下的兴趣向量，

和

是物品v_j在模态空间a和b下的向量表征。

代表物品v_j成为下一个交互的可能性。同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (2)

1.一种基于多模态交叉融合图网络的会话社交推荐方法，其特征在于：

构建目标用户u_i的社交网络G，令：

G＝{U，E}

其中，U表示社交网络中目标用户u_i的朋友集合，E是目标用户的社交连接；

使用长短期记忆网络生成不同模态空间下的会话向量表征，目标用户当前会话向量表征即是用户兴趣向量表征；构建用户会话向量表征，任一会话表示为S＝{v₁，v₂，…，v_n}；其中v_j是会话中第j个物品；构建用户会话向量表征采用长短期记忆网络(LSTM)：

z_S＝LSTM(Q(：，S))

其中，Q是物品的向量矩阵，Q(：，S)代表出现在会话S中所有的物品向量；分别用长短期记忆网络对会话模态a的表示

和模态b的表示

进行特征建模，得到目标用户在不同模态下的兴趣向量表征

他的第l个朋友的表征为最近会话

的向量表征为

根据社交网络G，采用基于动态路由的多模态图网络计算朋友对目标用户的社交影响；以下是多模态社交图网络中目标用户的朋友兴趣特征对目标用户模态a的社交影响的计算过程：

其中，

是模态m，m∈{a，b}到模态a的转换矩阵；

是目标用户第l个朋友在模态m下的兴趣向量表征，

是目标用户第l个朋友经过转换后的兴趣向量表征，

是目标用户u_i在模态a下的兴趣向量表征；

是目标用户第l个朋友的模态m到目标用户u_i模态a的连接参数，

是参数

归一化后的连接参数，归一化方式是softmax_l函数，具体为

AGGREGATE_l函数表示将目标用户的所有朋友信息聚合，采用求和(SUM)计算方法；squash是胶囊网络中常用的squash向量激活函数；

即为迭代一次的朋友对目标用户模态a的社交影响；公式中

表示不同朋友的不同模态对目标用户模态a的重要程度，最终的

值需采用动态路由算法迭代r次，即再重复循环以下过程r-1次：

其中，得到迭代r次的

值为最终朋友对目标用户模态特征a的社交影响，表示为

N(i)是目标用户u_i的朋友集合；以上是朋友对目标用户模态a的社交影响计算过程，朋友对目标用户模态b的社交影响计算过程相同；

结合目标用户兴趣和社交影响，获得用户最终向量表征；用户的兴趣由他当前会话行为和社交影响共同决定，用户的最终表示就由全连接层合并两者得到，令：

其中，

是线性转化矩阵，

为目标用户u_i行为表现出的多模态空间下的兴趣向量表征，

是多模态空间下的朋友对目标用户u_i的社交影响，

为向量拼接操作；

根据用户最终向量表征和物品向量表征，推荐物品；将物品v_j的向量

乘以用户兴趣向量

再应用softmax函数计算出物品v_j的分数：

其中，

和

代表用户在模态空间a和b下的兴趣向量，

和

是物品v_j在模态空间a和b下的向量表征；

代表物品v_j成为下一个交互的可能性；同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

2.根据权利要求1所述的一种基于多模态交叉融合图网络的会话社交推荐方法，其特征在于：所述长短期 记忆网络(LSTM)结构为：

i_j＝σ(W_ix_j+U_ih_j-1+b_i)

f_j＝σ(W_fx_j+U_fh_j-1+b_f)

o_j＝σ(W_ox_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cx_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，不同模态的公式相同且参数不共享，因此公式中省略了模态参数m∈{a，b}；x_j是会话序列中第j个物品的向量表征；长短期记忆网络的最后一层的隐藏状态h_j的输出就是会话向量表征zs；

和

分别是控制输入门i_j、遗忘门f_j和输出门o_j的参数，d代表物品向量的维度；

和

是控制单元状态c_j更新的参数；σ为sigmoid函数；所有这些参数和输入：隐层状态h_j-1、当前输入x_j共同参与计算，来输出结果h_j。

Images