CN118606552B - 一种基于图对比学习的多样化推荐方法 - Google Patents

Abstract

现如今，图计算尤其是图神经网络等技术获得了快速的发展以及广泛的应用。随着研究人员对推荐系统的不断研究，他们不满足于追求推荐系统的准确性，开始在其他方向研究推荐系统。推荐系统的多样性研究逐渐丰富起来。本发明提出了一种基于图对比学习的多样化推荐方法，通过对图卷积神经网络(GCN)进行改造，利用图对比学习的方法进行多样化的推荐。具体来说本专利将GCN邻居聚合阶段应用基于最大熵的邻居选择模块，选择多样化的邻居子集聚合；设计层注意力模块利用高阶邻居信息缓解过平滑问题；利用类平衡损失函数实现长尾物品的学习；设计图对比学习方法缓解数据稀疏等问题。

Description

一种基于图对比学习的多样化推荐方法

技术领域

本发明设计多样化推荐领域，尤其设计基于图对比学习的多样化推荐。

背景技术

推荐系统是Web应用程序的重要工具，可帮助用户浏览海量的在线信息。这些系统为用户可能感兴趣的项目提供个性化推荐，例如在线零售平台上的产品、帖子在社交网站和视频共享平台上。生成这些推荐的最常见方法之一是协同过滤(CF)，系统使用类似用户或项目的偏好来为给定用户推荐新项目。

协作过滤(CF)模型传统上依赖矩阵分解(MF)从交互数据中学习潜在用户和项目嵌入。然而，随着图神经网络(GNN)的兴起，人们越来越有兴趣使用这些模型沿着用户-项目交互图传播信息并学习用户-项目交互的更复杂的表示。PinSage、NGCF和LightGCN是基于GNN的CF模型的例子，它们在个性化推荐方面显示出了有希望的结果。这些模型使用图卷积网络(GCN)在用户-项目交互图上传播嵌入，从而允许它们捕获其他替代CF模型无法捕获的用户和项目之间的高阶交互。特别是，PinSage和NGCF使用多层GCN来捕获有关用户-项目交互图的局部和全局信息，而LightGCN通过省略非线性变换器并仅使用相邻嵌入的简单加权和来简化消息传递过程。

基于图的协同过滤模型在推荐系统中变得越来越流行。然而，这些模型面临着当前技术尚未充分解决的挑战。其中一项挑战是数据噪声，它可能由于多种因素而产生，例如用户由于过度推荐热门商品而点击不相关的产品。直接聚合来自用户-项目交互图中所有交互边的信息可能会导致用户表示不准确，并且多跳嵌入传播可能会恶化噪声效应。因此，现有的基于图的CF模型可能无法准确捕获用户兴趣并生成不准确的推荐。此外，推荐数据的稀疏性和偏态分布会对有效的用户-项目交互建模产生负面影响。因此，当前的方法可能会遇到用户数据稀缺的问题，其中高质量的训练信号可能受到限制。

同时，一个设计良好的推荐系统应该从多个角度进行评估，例如多样性。准确性只能反映推荐正确性，纯粹以准确性为目标的方法可能会导致回音室效应，将用户困在熟悉项目的小部分中，而无法探索绝大多数其他项目。为了打破回音室，推荐系统的多样化受到越来越多的关注。研究表明，随着用户数量的增加，使用多样化的推荐系统能够有效增加用户平均花费时间。多样化的推荐目标增加了推荐项目之间的差异性，以捕捉用户不同的兴趣，然而仅仅优化多样性往往会导致准确性的降低。准确性和多样性困境反映了这种权衡。因此，多样化推荐系统旨在以最小的准确率成本增加多样性。

发明内容

本发明提出了一种基于图对比学习的多样化推荐方法，通过对图卷积神经网络(GCN)进行改造，利用图对比学习的方法进行多样化的推荐。具体来说本方法在GCN邻居聚合阶段结合基于最大熵的邻居选择模块，实现了多样化的邻居子集选择；设计层注意力模块利用高阶邻居信息缓解过平滑问题；利用类平衡损失函数实现长尾物品的学习；设计图对比学习方法缓解数据稀疏问题。该方法更好的解决了推荐系统多样性欠缺的问题，实现了推荐准确性和多样性的平衡。

本发明的一种基于图对比学习的多样化推荐方法，包含以下步骤：

S1：多样化图卷积网络；

S2：视图生成器；

S3：损失重新加权；

S4：模型训练。

进一步地，所述S1的具体步骤为：

S11：为了对用户和项目之间的交互模式进行编码，遵循常见的协同过滤范例，将它们嵌入到d维潜在空间中，具体来说，分别为用户u和项目i生成大小为R^d的嵌入向量e_u和e_i，定义嵌入矩阵E_u∈R^|U|×d和E_i∈R^|I|×d分别表示用户和项目的嵌入，为了传播嵌入，使用LightGCN中使用的简化图卷积网络，其被定义如下式所示；

其中和分别表示用户u和项目i在第l层的嵌入表征；是LightGCN中的归一化项，用于避免多次聚合操作而导致嵌入表征值过大；S_u和S_i是S12介绍的基于最大熵的邻居选择算法选择的用户u和项目i的邻居集合；

S12：为了在邻居聚合阶段生成多样化的邻居子集，设计了基于最大熵的邻居选择算法；“熵”这一概念最早提出于1856年，用于表述一个系统的混乱程度，一个封闭系统的熵会随着时间的增加而增加，形成从有序向无序变化；1948年，熵被Shannon引入了信息论，用于表示信源的不确定性；改写信息熵用于推荐系统，如下式所示：

其中S_u和S_i分别是用户u和项目i所选择的邻居子集，集合大小受超参数k约束，u'和i'为邻居集合中未被选择的邻居，sim(e,e')是余弦相似度函数，用于衡量两个向量之间的相似性；得到需要优化的目标最大熵函数如下式所示；

其中N_u和N_i分别表示用户u和项目i的所有邻居集合；最大化最大熵函数在基数约束下是一个NP-hard问题，不过其可以用下界为的贪心算法近似求解；以用户u举例，该贪心算法从空集开始，每次加入一项使得边际收益最大化的i∈N_u\S_u具体如下式所示；

S_u∪i^*→S_u

其中i^*表示每步选择的邻居；经过k步贪心选择邻居，得到每个用户多样化的邻居子集，将该子集用于后续的聚合操作；

S13：为了利用用户-项目高阶邻居表示并缓解节点过平滑问题，设计层注意力机制集成多个嵌入传播层；对于每个用户或项目，模型通过L层GNN层可以得到L组嵌入向量；层注意力旨在通过学习[e⁽¹⁾,e⁽²⁾,...,e^(L)]的Readout函数得到最终的节点嵌入向量，如下式所示：

其中a^(l)是第l层的注意力权重；计算如下式所示；

其中是注意力计算的参数，层注意力机制可以学习不同的GNN层权值来优化损失函数；用户u和项目i的最终嵌入之间的内积用于预测用户对项目的偏好。

进一步地，所述S2的具体步骤为：

S21：双视图GCL范式，现有的图对比学习(GCL)方法，通常采用同一种生成视图的方法来生成两个视图，这种方式会使得生成的视图过于接近从而限制了图对比学习的效果；根据现有的自监督协同过滤范式，使用节点自我区分来生成正对和负对；具体来说，将处在不同视图的同一节点视为正对，如((e_u',e_u")|u∈U)，处在不同视图的不同节点视为负对，如((e_u',e_v")|u,v∈U,u≠v)；形式上，对比损失函数如下式所示，能最大化正对的一致性，同时最小化负对的一致性；

其中超参数τ是softmax函数中的温度参数；类似可以得到项目损失结合这两种损失，可以得到自监督任务的目标函数

S22：在用户-项目交互图上随机丢弃边(Edge-DropOut,ED)是常用的基于图增强的视图生成方法；边随机失活是指图中的边将按概率ρ丢弃；ED生成图可以建模为：

G_ED＝(V,M"⊙ε)

其中M"∈{0,1}^|ε|是大小为|ε|的掩膜向量，作用于边集生成子图；不是所有边都能有助于节点表示，因此这种增强有望捕捉节点局部结构的有用模式，并进一步增强模型抗噪声交互的鲁棒性；

S23：图生成模型作为视图生成器，最近出现的基于学习的图生成模型为视图生成器提供了一个有前途的解决方案，采用变分图自动编码器(VGAE)作为生成模型，它将变分自动编码器的概念与图生成相结合，与GAE相比，VGAE结合了KL散度来降低过度拟合的风险，从而通过增加不确定性来生成更多样化的图，此外，VGAE比其他当前流行的生成模型(例如生成对抗网络和扩散模型)相对更容易训练并且速度更快；

模型使用多层多样化GCN作为编码器来获得图嵌入；利用两个MLP分别拟合图嵌入的均值和标准差；使用另一个MLP作为解码器，将输入的均值和带高斯噪声的标准差进行解码，生成新的图；VGAE的损失定义如下式所示；

其中是指节点嵌入分布于标准高斯分布之间的KL散度；是交叉熵损失，它量化了生成图与原始图之间的不相似性；是基于生成图计算的BPR损失；ε'表示生成图的边集。

进一步地，所述S3的具体步骤为：

S31：数据集中每个类别的项目数量高度不平衡，并遵循幂律分布；少数类别包含了大部分项目，然而大多数类别只有有限数量的项目；通过直接优化所有样本的平均损失来训练模型将使得长尾类别训练更加困难；模型在训练过程中根据样本的类别对样本损失进行重新加权；若项目属于流行类别，模型将会相对降低其权重；若项目属于长尾类别，模型将会相对提高其权重；本模型使用类平衡损失根据项目的类别有效数对样本(u,i)进行重新加权，计算公式如下式所示；

其中β是决定权重的超参数，更大的β将会进一步降低流行类别的权重；Map(i)是项目与类别的映射。

进一步地，所述S4的具体步骤为：

S41：得到e_u和e_i之后，通过计算两个向量的点积得到用户u和项目i的相关分数；对于每一个正样本对(u,i)，随机抽取一个负样本对(u,j)来计算贝叶斯个性化损失；为了增加推荐的多样性，模型对损失进行重新加权，以增加长尾项目的重要性；损失函数如下式所示；

其中是由(u,i)正样本对和(u,j)负样本对计算的BPR损失，Θ是模型所有参数，λ₁，λ₂和λ₃分别是图生成损失超参数，对比损失超参数和L₂正则化参数。

附图说明

图1为本方法的流程图；

图2为VGAE模型结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实例与附图对本发明作进一步详细描述。

如附图1所示，一种基于图对比学习的多样化推荐方法，包含以下步骤：

步骤1：多样化图卷积网络

为了对用户和项目之间的交互模式进行编码，遵循常见的协同过滤范例，将它们嵌入到d维潜在空间中，具体来说，分别为用户u和项目i生成大小为R^d的嵌入向量e_u和e_i，定义嵌入矩阵E_u∈R^|U|×d和E_i∈R^|I|×d分别表示用户和项目的嵌入，为了传播嵌入，使用LightGCN中使用的简化图卷积网络，其被定义如下式所示。

其中和分别表示用户u和项目i在第l层的嵌入表征；是LightGCN中的归一化项，用于避免多次聚合操作而导致嵌入表征值过大；S_u和S_i是S12介绍的基于最大熵的邻居选择算法选择的用户u和项目i的邻居集合。

为了在邻居聚合阶段生成多样化的邻居子集，设计了基于最大熵的邻居选择算法。“熵”这一概念最早提出于1856年，用于表述一个系统的混乱程度，一个封闭系统的熵会随着时间的增加而增加，形成从有序向无序变化。1948年，熵被Shannon引入了信息论，用于表示信源的不确定性。改写信息熵用于推荐系统，如下式所示：

其中S_u和S_i分别是用户u和项目i所选择的邻居子集，集合大小受超参数k约束，u'和i'为邻居集合中未被选择的邻居，sim(e,e')是余弦相似度函数，用于衡量两个向量之间的相似性。得到需要优化的目标最大熵函数如下式所示。

其中N_u和N_i分别表示用户u和项目i的所有邻居集合。最大化最大熵函数在基数约束下是一个NP-hard问题，不过其可以用下界为的贪心算法近似求解。以用户u举例，该贪心算法从空集开始，每次加入一项使得边际收益最大化的i∈N_u\S_u具体如下式所示。

S_u∪i^*→S_u

其中i^*表示每步选择的邻居。经过k步贪心选择邻居，得到每个用户多样化的邻居子集，将该子集用于后续的聚合操作。

为了利用用户-项目高阶邻居表示并缓解节点过平滑问题，设计层注意力机制集成多个嵌入传播层。对于每个用户或项目，模型通过L层GNN层可以得到L组嵌入向量。层注意力旨在通过学习[e⁽¹⁾,e⁽²⁾,...,e^(L)]的Readout函数得到最终的节点嵌入向量，如下式所示：

其中a^(l)是第l层的注意力权重。计算如下式所示。

其中是注意力计算的参数，层注意力机制可以学习不同的GNN层权值来优化损失函数。用户u和项目i的最终嵌入之间的内积用于预测用户对项目的偏好。

步骤2：视图生成器

双视图GCL范式，现有的图对比学习(GCL)方法，通常采用同一种生成视图的方法来生成两个视图，这种方式会使得生成的视图过于接近从而限制了图对比学习的效果。根据现有的自监督协同过滤范式，使用节点自我区分来生成正对和负对。具体来说，将处在不同视图的同一节点视为正对，如((e_u',e_u")|u∈U)，处在不同视图的不同节点视为负对，如((e_u',e_v")|u,v∈U,u≠v)。形式上，对比损失函数如下式所示，能最大化正对的一致性，同时最小化负对的一致性。

其中超参数τ是softmax函数中的温度参数。类似可以得到项目损失结合这两种损失，可以得到自监督任务的目标函数

在用户-项目交互图上随机丢弃边(Edge-DropOut,ED)是常用的基于图增强的视图生成方法。边随机失活是指图中的边将按概率ρ丢弃。ED生成图可以建模为：

G_ED＝(V,M"⊙ε)

其中M"∈{0,1}^|ε|是大小为|ε|的掩膜向量，作用于边集生成子图。不是所有边都能有助于节点表示，因此这种增强有望捕捉节点局部结构的有用模式，并进一步增强模型抗噪声交互的鲁棒性。

图生成模型作为视图生成器，最近出现的基于学习的图生成模型为视图生成器提供了一个有前途的解决方案，采用变分图自动编码器(VGAE)作为生成模型，它将变分自动编码器的概念与图生成相结合，与GAE相比，VGAE结合了KL散度来降低过度拟合的风险，从而通过增加不确定性来生成更多样化的图，此外，VGAE比其他当前流行的生成模型(例如生成对抗网络和扩散模型)相对更容易训练并且速度更快。

如附图2所示，模型使用多层多样化GCN作为编码器来获得图嵌入。利用两个MLP分别拟合图嵌入的均值和标准差。使用另一个MLP作为解码器，将输入的均值和带高斯噪声的标准差进行解码，生成新的图。VGAE的损失定义如下式所示。

其中是指节点嵌入分布于标准高斯分布之间的KL散度。是交叉熵损失，它量化了生成图与原始图之间的不相似性。是基于生成图计算的BPR损失。ε'表示生成图的边集。

步骤3：损失重新加权

数据集中每个类别的项目数量高度不平衡，并遵循幂律分布。少数类别包含了大部分项目，然而大多数类别只有有限数量的项目。通过直接优化所有样本的平均损失来训练模型将使得长尾类别训练更加困难。模型在训练过程中根据样本的类别对样本损失进行重新加权。若项目属于流行类别，模型将会相对降低其权重；若项目属于长尾类别，模型将会相对提高其权重。本模型使用类平衡损失根据项目的类别有效数对样本(u,i)进行重新加权，计算公式如下式所示。

其中β是决定权重的超参数，更大的β将会进一步降低流行类别的权重；Map(i)是项目与类别的映射。

步骤4：模型训练

得到e_u和e_i之后，通过计算两个向量的点积得到用户u和项目i的相关分数。对于每一个正样本对(u,i)，随机抽取一个负样本对(u,j)来计算贝叶斯个性化损失。为了增加推荐的多样性，模型对损失进行重新加权，以增加长尾项目的重要性。损失函数如下式所示。

其中是由(u,i)正样本对和(u,j)负样本对计算的BPR损失，Θ是模型所有参数，λ₁，λ₂和λ₃分别是图生成损失超参数，对比损失超参数和L₂正则化参数。

Claims (5)

1.一种基于图对比学习的多样化推荐方法，其特征在于包含以下步骤：

S1：多样化图卷积网络；

步骤S1中的具体步骤为：

S11:分别为用户u和项目i生成大小为R^d的嵌入向量e_u和e_i，定义嵌入矩阵E_u∈R^|U|×d和E_i∈R^|I|×d分别表示用户和项目的嵌入；使用LightGCN中使用的简化图卷积网络；

S12:改写信息熵用于推荐系统；

S13:对于每个用户或项目，模型通过L层GNN层可以得到L组嵌入向量；层注意力旨在通过学习[e⁽¹⁾,e⁽²⁾,...,e^(L)]的Readout函数得到最终的节点嵌入向量；用户u和项目i的最终嵌入之间的内积用于预测用户对项目的偏好；

S2：视图生成器；

步骤S2中的具体步骤为：

S21:根据现有的自监督协同过滤范式，使用节点自我区分来生成正对和负对；将处在不同视图的同一节点视为正对((e_u',e_u")|u∈U)，处在不同视图的不同节点视为负对((e_u',e_v")|u,v∈U,u≠v)；对比损失函数能最大化正对的一致性，同时最小化负对的一致性；

S22:使用用户-项目交互图上随机丢弃边的视图生成方法；边随机失活是指图中的边将按概率ρ丢弃；

S23:采用变分图自动编码器VGAE作为生成模型，它将变分自动编码器的概念与图生成相结合；模型使用多层多样化GCN作为编码器来获得图嵌入；利用两个MLP分别拟合图嵌入的均值和标准差；使用另一个MLP作为解码器，将输入的均值和带高斯噪声的标准差进行解码，生成新的图；

S3：损失重新加权；

步骤S3中的具体步骤为：

S31：模型在训练过程中根据样本的类别对样本损失进行重新加权；若项目属于流行类别，模型将会相对降低其权重；若项目属于长尾类别，模型将会相对提高其权重；

S4：模型训练；

S41：步骤S4中的具体步骤为：得到e_u和e_i之后，通过计算两个向量的点积得到用户u和项目i的相关分数；对于每一个正样本对(u,i)，随机抽取一个负样本对(u,j)来计算贝叶斯个性化损失。

2.根据权利要求1所述的一种基于图对比学习的多样化推荐方法，其特征在于步骤S1中的具体步骤为：

S11：简化图卷积网络被定义为如下式所示；

其中和分别表示用户u和项目i在第l层的嵌入表征；是LightGCN中的归一化项，用于避免多次聚合操作而导致嵌入表征值过大；S_u和S_i是基于最大熵的邻居选择算法选择的用户u和项目i的邻居集合；

S12：改写信息熵用于推荐系统，如下式所示：

其中S_u和S_i分别是用户u和项目i所选择的邻居子集，集合大小受超参数k约束，u'和i'为邻居集合中未被选择的邻居，sim(e,e')是余弦相似度函数，用于衡量两个向量之间的相似性；得到需要优化的目标最大熵函数如下式所示；

其中N_u和N_i分别表示用户u和项目i的所有邻居集合；最大化最大熵函数在基数约束下是一个NP-hard问题，用下界为的贪心算法近似求解；该贪心算法从空集开始，每次加入一项使得边际收益最大化的i∈N_u\S_u，具体如下式所示:

S_u∪i^*→S_u

其中i^*表示每步选择的邻居；经过k步贪心选择邻居，得到每个用户多样化的邻居子集，将该子集用于后续的聚合操作；

S13：得到的最终节点嵌入向量如下式所示：

其中a^(l)是第l层的注意力权重，计算如下式所示：

其中是注意力计算的参数，层注意力机制学习不同的GNN层权值来优化损失函数；

用户u和项目i的最终嵌入之间的内积用于预测用户对项目的偏好：

3.根据权利要求2所述的一种基于图对比学习的多样化推荐方法，其特征在于步骤S2中的具体步骤为：

S21：对比损失函数如下式所示：

其中超参数τ是softmax函数中的温度参数；得到项目损失结合对比损失和项目损失，得到自监督任务的目标函数：

S22：ED生成图建模为：

G_ED＝(V,M"⊙ε)

其中M"∈{0,1}^|ε|是大小为|ε|的掩膜向量，作用于边集生成子图；

S23：VGAE的损失定义如下式所示：

其中，对于每一个正样本对(u,i)，随机抽取一个负样本对(u,j)；是指节点嵌入分布于标准高斯分布之间的KL散度；是交叉熵损失，它量化了生成图与原始图之间的不相似性；是基于生成图计算的BPR损失；ε'表示生成图的边集。

4.根据权利要求3所述的一种基于图对比学习的多样化推荐方法，其特征在于步骤S3中的具体步骤为：

S31：模型使用类平衡损失根据项目的类别有效数对样本(u,i)进行重新加权，计算公式如下式所示：

其中β是决定权重的超参数，更大的β将会进一步降低流行类别的权重；Map(i)是项目与类别的映射。

5.根据权利要求4所述的一种基于图对比学习的多样化推荐方法，其特征在于步骤S4中的具体步骤为：

S41：贝叶斯个性化损失函数如下式所示：

其中是由(u,i)正样本对和(u,j)负样本对计算的BPR损失，Θ是模型所有参数，λ₁、λ₂和λ₃分别是图生成损失超参数、对比损失超参数和L₂正则化参数。