CN113468227A

CN113468227A - 基于图神经网络的信息推荐方法、系统、设备和存储介质

Info

Publication number: CN113468227A
Application number: CN202110711203.1A
Authority: CN
Inventors: 郭通; 何向南; 李岩; 陈伟健; 李宣平; 谢洪涛; 张勇东
Original assignee: Beijing Zhongke Research Institute; Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Zhongke Research Institute; Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2021-06-25
Filing date: 2021-06-25
Publication date: 2021-10-01
Anticipated expiration: 2041-06-25
Also published as: CN113468227B

Abstract

本发明公开了一种基于图神经网络的信息推荐方法、系统、设备和存储介质，相关方法包括：对于用户与物品交互关系的二部图，通过聚类的方式划分为若干子图；在每个子图上进行图卷积，来传播一阶和高阶的协同信号以挖掘用户的兴趣，得到每个子图的节点嵌入向量；将每个子图作为一个局部模型，通过局部模型的节点嵌入向量计算不同局部模型的相似度并映射到核空间，获得权重矩阵M，获得二部图中每个节点最终的预测向量；利用最终的预测向量，预测各用户与各物品的匹配得分，按照匹配得分大小做降序排列，并将匹配得分靠前的多个物品推荐给相应用户。该方法既能有效捕捉数据中的长尾特性，又能捕捉协同过滤信号，提升模型精度和多样性，提升推荐效果。

Description

基于图神经网络的信息推荐方法、系统、设备和存储介质

技术领域

本发明涉及推荐系统和图数据挖掘领域，尤其涉及一种基于图神经网络的信息推荐方法、系统、设备和存储介质。

背景技术

推荐系统通过个性化选择匹配用户兴趣的物品，在电商、新闻、多媒体内容等领域扮演着不可或缺的作用。协同过滤模型是最具代表性的推荐模型之一，它利用用户和物品的历史交互记录，比如点击、购买等，将每个用户和物品映射到高维向量空间，通过计算向量间的相似性来进行个性化推荐。近期，由于图神经网络(GNN)在图像处理、自然语言处理等领域取得了巨大的成功，越来越多的研究人员将GNN引入推荐系统，将协同过滤信号建模成用户-物品二分图的高阶连通性，从而改善模型的性能。迄今为止，协同过滤模型虽然提供了一种通用的解决方案，但它仍然不能为长尾节点提供高质量的节点表示。

已有的GNN如LightGCN只用一个单独的模型来评估用户表现，导致以下两个限制：1)用户物品交互图中节点的度剧烈变化，通常表现为数据呈长尾分布。因此只学习一个全局模型得到的表示并不能满足每个节点；2)它很难平衡推荐准确性和多样性，尤其是当用户的兴趣很分散分布在多个类型的物品上。作为一种基于交互行为的模型，当节点的邻居少的时候，模型表现总是差强人意，在训练过程中表现为欠拟合。

发明内容

本发明的目的是提供一种基于图神经网络的信息推荐方法、系统、设备和存储介质，通过聚类阶段有效朴拙数据中的长尾特性，在图卷积阶段捕捉协同过滤信号，核聚合阶段平衡不同局部模型间关系，从而提升模型精度和多样性，提升推荐效果。

本发明的目的是通过以下技术方案实现的：

(与权利要求相对应)。

由上述本发明提供的技术方案可以看出，针对多主题长尾物品的特性，结合图卷积网络，设计了一种通用的、适合个性化服务的推荐系统框架，既能有效捕捉数据中的长尾特性，又能捕捉协同过滤信号，提升模型精度和多样性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于图神经网络的信息推荐方法的框架图；

图2为本发明实施例提供的长尾数据集分布特性示意图；

图3为本发明实施例提供的Baby数据集上不同的N的Top-N召回性能对比图；

图4为本发明实施例提供的Office product数据集上不同的N的Top-N召回性能对比图；

图5为本发明实施例提供的长尾物品和流行物品的表现对比示意图；

图6为本发明实施例提供的一种基于图神经网络的信息推荐系统的示意图；

图7为本发明实施例提供的一种电子设备的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种基于图神经网络的信息推荐方法，如图1所示，其主要包括：

聚类阶段(Clustering Stage)：对于输入的包含用户与物品交互关系的二部图，通过聚类的方式划分为若干子图。

本发明实施例中，输入的信息为包含用户与物品交互关系的二部图，也就是说，需要将原始的用户物品交互行为转化为用户-物品二部图，该二部图包含多个节点以及节点之间的连边；节点包括：用户节点与物品节点，每一用户节点、每一物品节点各自对应一个用户、一个物品；用户节点与物品节点的连边表示用户与相应物品存在交互记录。

聚类阶段，首先，使用一个预训练的图神经网络获得每一节点的表示向量，然后在向量空间计算聚类中心C并更新隶属度矩阵S，最后设置阈值划分类间的重叠大小，算法总结如下：

输入：整图邻接矩阵A

子图数量M

节点预训练表示P

输出：子图的邻接矩阵{A^m，m∈[1，M]}

1.初始化隶属度矩阵S和聚类中心集合C

2.While not reach MAXITER do

3.根据公式(第一关系模型)计算全体聚类中心C

4.根据公式(第二关系模型)更新隶属度矩阵S

5.End

6.Formin range(M)do

7.随机划分每个子图阈值Th_m

8.采样隶属度高于阈值的节点

9.构建第m个兴趣主题子图

10.生成子图邻居矩阵A^m

11.End

其中，M为子图的总数目，C_m.是第m个子图的聚类中心，表示矩阵C的第m行，类似的，C_i.是第i个子图的聚类中心，表示矩阵C的第i行，符号“.”指代矩阵的某一行，是较为严谨表达形式。S_jm表示第j个节点隶属于第m个子图的概率(∑S_j.＝1)；t是模糊系数，通常设置为2，|U|、|I|各自表示用户节点数目、物品节点数目。P是已有的图模型如LightGCN预训练的嵌入向量，目的是将节点映射到一个高维的向量空间，在这个高维的欧式空间内节点按照图的关系传播，所有节点分享来自邻域的信息，最终得到高维欧式空间的向量表达。最后在7-10行，针对每个节点其对所有主题类的隶属度设置一个阈值，采样得到属于各个主题的节点，由于在高维空间聚类的依据是节点之间的结构信息，所以聚类得到的子图较大程度的保留了原始图的结构信息。接下来可以定义第m个子图的邻接矩阵A^m：

图卷积阶段(Graph convolution Stage)：将每个子图单独输入至一个局部模型(局部图卷积模型)进行图卷积，来传播一阶和高阶的协同信号以挖掘用户的兴趣，从而得到每个子图的节点嵌入向量。

本发明实施例中，图卷积的公式(第三关系模型)表示为：

其中，l表示图卷积的层数序号，m表示子图的序号，A^m为上个阶段得到的子图邻接矩阵，D^m是A^m矩阵的度矩阵，它是一个对角矩阵，(E^m)^(l)是第m个子图的第l层图卷积网络输出，当l＝0时为全局初始化的嵌入表征(Embedding initialization)。

(E^m)^(L)虽然可以用来直接作为局部模型的输出结果，为了获取不同层的语义信息和防止高层图卷积的过平滑问题，对每个子图对不同层数的图卷积网络输出进行加权，这种加权还可以很好的反应不同阶邻居信息的重要性，每个子图的节点嵌入向量采用第四关系模型计算，所述第四关系模型为：

E^m＝α₀E^m+α₁(E^m)¹+α₂(E^m)²+...+α_L(E^m)^L

其中，α_l为第l层的权重，当l＝1/L时网络表示为对整个网络所有结果求平均，由于E是全局初始化的，所以对于不同局部模型只有这一组可训练参数。

图1中间部分的图卷积阶段中e指代单个节点的嵌入向量，上标指代图卷积的层数，下标u、i分别指代用户节点、物品节点，下标u、i下的数字用来区分不同的用户节点、物品节点。

核聚合阶段(Kernel Aggregation Stage)：通过局部模型输出的节点嵌入向量计算不同局部模型的相似度并映射到核空间，获得权重矩阵M，从而获得二部图中每个节点最终的预测向量。

本发明实施例中，采用核聚合器聚合不同主题的节点表示来获得最终预测向量。为了有效聚合在不同主题子图上的局部模型的输出，通过计算不同局部模型的相似度来分配权重。具体来说，通过Epanechnikov核函数将相似度距离映射到核空间，然后通过带宽平滑掉所有不相关的局部模型。Epanechnikov核函数的形式是一个截断的抛物线函数：

整个核聚合器可以看作自注意力的一种，通过这种机制，不仅能给不同主题分配权重，而且不引入额外参数。具体计算流程如表2所示，

输入：局部模型输出的节点嵌入向量E^m

带宽b∈[0,1]

子图个数M

输出：核权重矩阵W

For k in range(K)do

计算子图嵌入

End

对子图嵌入行归一化得到t'_m

For m in range(M)do

计算两个局部模型间的距离

End

以上流程可描述为：

1)将局部模型输出的节点嵌入向量表示为E^m，设置带宽b∈[0,1]；

2)计算局部模型的嵌入：

并对局部模型的嵌入做归一化处理，其中，|A^m|表示第m个子图的节点数量，

表示第m个子图第j个节点的向量表示，即E^m的第j行；

3)计算不同局部模型的距离作为相似度：

从而得到包含所有不同局部模型相似度的矩阵O，其中，t'_j与t'_j各自表示不同局部模型i与j嵌入的归一化结果；

4)设置阈值c为矩阵O中第b·M²小的元素值，通过Epanechnikov核函数将相似度映射到核空间生成指示因子：

5)计算不同局部模型之间的权重：

从而得到包含不同局部模型之间权重的矩阵W。

通过以上计算流程可以看出，t控制了平滑程度，t可以由超参数b控制，b趋于1时，核聚合器可以选择相似的局部模型，b趋于0时，作用相当于求和操作。自适应的实现核心就依赖于不同主题间的相似性。越相似的主题交叉影响越大，在本发明提出的局部模型中，不同局部模型间聚合的权重比例就会越大。而核函数就是为了计算权重，每个局部模型代表一个主题，它使得主题之间依靠相似性聚合，从而建模多主题用户物品嵌入。核函数关键参数是它的带宽，它可以控制核函数对于概率分布的平滑程度，对于不同的局部模型来说，带宽的大小决定了平均每个模型可以聚合多少相似模型的嵌入表示。

整个计算流程的输入为各个局部模型的嵌入表示，输出则被形式化成一个权重矩阵，这个矩阵是随着训练过程可以不断发生变化的。通过有选择的聚合，核函数平滑了相似性差的局部模型，最终利用局部模型之间的权重，采用第五关系模型聚合所有局部模型的节点嵌入向量得到聚合后的节点嵌入向量，第五关系模型为：

其中，E^j表示局部模型j的输出，即第j个子图的节点嵌入向量，E'表示聚合后的节点嵌入向量。

在上述方案的基础上，从最终的预测向量E'，中提取出各用户节点和各物品节点的向量(图1中的

)，通过计算每一用户节点和各物品节点的向量内积得到各用户与各物品的匹配得分(图1中的

)，按照匹配得分大小做降序排列，并将匹配得分靠前的多个物品(例如，靠前的N个物品，N的数值根据需求自行设置)推荐给相应用户。

本发明上述方案，可以应用到各种推荐系统上，利用历史交互数据和聚类信息建立多个的用户-物品子图，喂入多个平行的局部图卷积模型，通过一个可以自适应聚合的核聚合器，为用户和物品构建一个多样性更高的向量表示，从而为用户提供更加优质，准确、多样的个性化推荐内容。

本发明上述方法与现有的图卷积协同过滤的LightGCN模型相比有如下优点：1)测试的精度显著提高。2)多样性好能推荐更多的长尾物品。

对于上述优点，我们在四个数据集上做了详尽的实验来证明，表1是四个数据集的数据统计，如表1所示，使用的数据集都是100k以上条用户行为的数据集，并且其长尾特性如附图2所示，保证数据都符合真实数据的长尾分布，图2中(a)～(d)四个部分依次对应数据集Cell phon、Baby、Pet、Office product。

数据集	#用户	#物品	#边	稀疏程度
					Cellphone	9,534	53,479	139,141	99.97％
Baby	27,655	32,553	232,749	99.97％
					Pet	33,687	53,774	280,093	99.98％
Officeproduct	28,757	46,614	568,243	99.96％

表1数据集统计信息

1)针对测试精度高的优点，在四个数据集上根据四个不同的常见推荐指标作出了验证，本发明提出的方法(简称LocalGCN)及其所有变体方法都要优于现有的LightGCN模型。实验结果如表2所示。

表2实验结果

从表2中可以看到，本发明的框架表现稳定且提升明显，在以LightGCN为基础模型的框架中，所有LocalGCN的变体都要优于基础模型。其中，MF是传统协同过滤方法，NGCF是图神经网络协同过滤方法，LocalGCN_G是LightGCN改进原始损失后的全局版本；LocalGCN_R是完全随机聚类，用于对比我们的聚类方法以及证明我们提出的局部模型思想的有效性；LocalGCN_M是基于超图的层次聚类思想的实现是LocalGCN的变体方法。可以看出LocalGCN在不同数据集和指标上均有不同程度的提升，由此证明本发明提出的局部模型思想以及聚类方法均为有效的。

另外我们还证明了核聚合器对于召回率的提升，还进行了相关实验，结果如表3所示。

Dataset	Cell phone	baby	pet	Office product
					LightGCN	0.014816	0.010231	0.018031	0.022966
MEAN	0.016486	0.009632	0.018234	0.022923
					MAX	0.015882	0.012552	0.020959	0.026564
KERNEL	0.018151	0.012738	0.021458	0.026842

表3实验结果

从表3所示的实验结果，可以得出结论本发明提出的核聚合器明显优于其它方式的聚合，而比较常见的平均聚合的方式在某些数据集上甚至会降低模型的表现。另外对于推荐任务，还做了不同的Top-N实验，用于证明在召回数量不同时模型的效果。如附图3、4所示，LocalGCN总是优于其它所有模型；每一组柱状图中五个矩形依次对应LightGCN、LocalGCN_G、LocalGCN_R、LocalGCN_M、LocalGCN。

2)对于LocalGCN在长尾物品的召回表现还作出了对比，具体见附图5。其中长尾物品指的是那些交互数少于15的，这部分占据了数据集大约90％的比例。如图5所示，LocalGCN的性能在无论长尾还是流行物品上均有提升。

本发明另一实施例还提供一种基于图神经网络的信息推荐系统，其主要用于实现前述实施例提供的方法，如图6所示，该系统主要包括：

聚类模块，用于对于输入的包含用户与物品交互关系的二部图，通过聚类的方式划分为若干子图；

图卷积模块，用于将每个子图单独输入至一个用于执行图卷积操作的局部模型中，每一局部模型通过图卷积操作，输出相应子图的节点嵌入向量，子图的节点嵌入向量中融合了子图中所有节点的特征；

核聚合模块，用于根据不同子图的节点嵌入向量，计算相应局部模型之间的相似度，并通过核函数计算局部模型之间的权重，再利用局部模型之间的权重聚合局部模型的节点嵌入向量，得到聚合后的节点嵌入向量；

匹配与推荐模块，用于从聚合后的节点嵌入向量中提取出各用户节点和各物品节点的向量，通过计算每一用户节点与各物品节点的向量内积，得到每一用户与各物品的匹配得分，按照匹配得分大小做降序排列，并将匹配得分靠前的多个物品推荐给相应用户。

本发明另一实施例还提供一种电子设备，如图7所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。

进一步的，所述电子设备还包括至少一个输入设备与至少一个输出设备；在所述电子设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。

本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：

输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；

输出设备可以为显示终端；

存储器可以为随机存取存储器(Random Access Memory，RAM)，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。

本发明另一实施例还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。

本发明实施例中可读存储介质可以是设置于前述电子设备中，例如，作为电子设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种基于图神经网络的信息推荐方法，其特征在于，包括：

对于输入的包含用户与物品交互关系的二部图，通过聚类的方式划分为若干子图；

将每个子图单独输入至一个用于执行图卷积操作的局部模型中，每一局部模型通过图卷积操作，输出相应子图的节点嵌入向量，子图的节点嵌入向量中融合了子图中所有节点的特征；

根据不同子图的节点嵌入向量，计算相应局部模型之间的相似度，并通过核函数计算局部模型之间的权重，再利用局部模型之间的权重聚合局部模型的节点嵌入向量，得到聚合后的节点嵌入向量；

从聚合后的节点嵌入向量中提取出各用户节点和各物品节点的向量，通过计算每一用户节点与各物品节点的向量内积，得到每一用户与各物品的匹配得分，按照匹配得分大小做降序排列，并将匹配得分靠前的多个物品推荐给相应用户。

2.根据权利要求1所述的一种基于图神经网络的信息推荐方法，其特征在于，对于输入的包含用户与物品交互关系的二部图，通过聚类的方式划分为若干子图包括：

使用一个预训练的图神经网络，获得二部图中每一节点的表示向量；所述节点包括：用户节点与物品节点，每一用户节点、每一物品节点各自对应一个用户、一个物品；

根据每一节点的表示向量，在向量空间计算聚类中心并更新隶属度矩阵，所述隶属度矩阵中记录了每一节点隶属于每一子图的概率；

随机划分每个子图的阈值，并结合隶属度矩阵，采样得到每个子图所包含的节点；

根据每个子图所包含的节点构建相应的子图，并生成每个子图的邻接矩阵。

3.根据权利要求2所述的一种基于图神经网络的信息推荐方法，其特征在于，根据每一节点的表示向量，在向量空间计算聚类中心，包括：

根据每一节点的表示向量，采用第一关系模型，在向量空间计算聚类中心；所述第一关系模型为：

其中，M为子图的总数目，C_m.是第m个子图的聚类中心，S_jm表示第个j节点隶属于第m个子图的概率，t是模糊系数，|U|、|I|各自表示用户节点数目、物品节点数，P_j.表示通过预训练的图神经网络获得的第个j节点的表示向量。

4.根据权利要求2或3所述的一种基于图神经网络的信息推荐方法，其特征在于，更新隶属度矩阵包括：

根据聚类中心，采用第二关系模型，更新隶属度矩阵；所述第二关系模型为：

其中，M为子图的总数目，C_m.是第m个子图的聚类中心，C_i.是第i个子图的聚类中心，S_jm表示节点j隶属于第m个子图的概率，t是模糊系数，P_j.表示通过预训练的图神经网络获得的节点j的表示向量。

5.根据权利要求1所述的一种基于图神经网络的信息推荐方法，其特征在于，所述局部模型为图卷积网络，采用第三关系模型完成图卷积操作；所述第三关系模型为：

其中，l表示图卷积的层数序号，m表示子图的序号，A^m为子图的邻接矩阵；D^m是邻接矩阵A^m的度矩阵，它是一个对角矩阵；(E^m)^(l)是第m个子图的第l层图卷积网络输出，当l＝0时为全局初始化的嵌入表征；

将子图不同层图卷积网络的输出采用第四关系模型进行加权求和，所述第四关系模型为：

E^m＝α₀E^m+α₁(E^m)¹+α₂(E^m)²+...+α_L(E^m)^L

其中，α_l为第l层的权重，L为图卷积网络的总层数；

将加权求和结果E^m作为局部模型的输出，即第m个子图的节点嵌入向量。

6.根据权利要求1所述的一种基于图神经网络的信息推荐方法，其特征在于，所述根据不同子图的节点嵌入向量，计算相应局部模型之间的相似度，并通过核函数计算局部模型之间的权重的步骤包括：

将子图的节点嵌入向量表示为E^m，m∈[1，M]，M为子图的总数目；设置带宽参数b；

计算各子图对应的局部模型的嵌入：

并对局部模型的嵌入做归一化处理；其中，|A^m|表示第m个子图的节点数量，

表示第m个子图第j个节点的向量表示，即E^m的第j行；

计算不同局部模型的距离作为相似度：

最终，得到包含所有不同局部模型相似度的矩阵O，其中，t′_j与t′_j各自表示不同局部模型i与j嵌入的归一化结果；

设置阈值c为矩阵O中第b·M²小的元素值，通过Epanechnikov核函数将相似度映射到核空间生成指示因子：

根据指示因子计算局部模型之间的权重：

7.根据权利要求1或6所述的一种基于图神经网络的信息推荐方法，其特征在于，所述利用局部模型之间的权重聚合局部模型的节点嵌入向量，得到聚合后的节点嵌入向量包括：

利用局部模型之间的权重，采用第五关系模型聚合局部模型的节点嵌入向量，得到聚合后的节点嵌入向量；所述第五关系模型为：

其中，M为子图的总数目，W_ij表示局部模型i与j之间的权重，E^j表示局部模型j的输出，即第j个子图的节点嵌入向量，E′表示聚合后的节点嵌入向量。

8.一种基于图神经网络的信息推荐系统，其特征在于，该系统包括：

9.一种电子设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～7任一项所述的方法。

10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～7任一项所述的方法。