CN115689673A - 一种基于排序对比损失的推荐方法、系统、介质及设备 - Google Patents

一种基于排序对比损失的推荐方法、系统、介质及设备 Download PDF

Info

Publication number
CN115689673A
CN115689673A CN202211212593.9A CN202211212593A CN115689673A CN 115689673 A CN115689673 A CN 115689673A CN 202211212593 A CN202211212593 A CN 202211212593A CN 115689673 A CN115689673 A CN 115689673A
Authority
CN
China
Prior art keywords
user
recommendation
loss function
contrast loss
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211212593.9A
Other languages
English (en)
Inventor
赵国帅
汤豪
钱学明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202211212593.9A priority Critical patent/CN115689673A/zh
Publication of CN115689673A publication Critical patent/CN115689673A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于排序对比损失的推荐方法、系统、介质及设备,对用户的交互记录数据进行预处理得到用户‑项目图G;利用用户‑项目图G,通过深度学习推荐模型pLighGCN得到用户和物品的特征表达eu和ei;计算用户与样本的相似度,根据相似度得到按行排序后的相似度矩阵;基于相似度矩阵挖掘困难样本和潜在正例,利用困难样本和潜在正例改进对比损失得到排序对比损失函数LRcL,利用排序对比损失函数LRCL对深度学习推荐模型pLighGCN进行训练,得到推荐模型用于实现推荐任务。本发明使用基于排序的困难样本挖掘及损失函数加权、潜在正例挖掘及损失函数应用,以及二者的结合形成排序对比损失函数和推荐方法,显著提升了推荐性能。

Description

一种基于排序对比损失的推荐方法、系统、介质及设备
技术领域
本发明属于推荐系统技术领域,具体涉及一种基于排序对比损失的推荐方法、系统、介质及设备。
背景技术
近年来,推荐系统已经被广泛应用于新闻、广告、电子商务、社交网络、娱乐等多个领域。它们已经成为大数据时代的基础技术和重要研究领域。它基于用户的历史交互记录(点击、评分、评论、转发、点赞、购买等),为用户(user) 推荐可能喜欢的信息、产品、服务等(统称为项目,item)。基于深度学习的推荐算法已经成为研究的主流,最近被广泛关注的图卷积网络(GCN)、对比学习方法也成为推荐算法研究的热点。Top-k推荐是推荐系统的基本任务之一,它根据用户和商品之间的相似性来生成一个最可能喜欢的k个项目的推荐列表。最常用的损失函数是贝叶斯个性化排名(BPR)损失,其目的是最大化正、负例之间的距离。交叉熵损失(Cross Entropy,CE)将top-k推荐作为一个分类问题,在一些情况下使用。对比损失(CL)广泛应用于对比学习中,发现它非常适合于推荐系统,为推荐系统损失函数提供了新的选择。
但是CL损失函数在推荐系统中并没有考虑以下两个问题:
(1)所有样本的权重都是相同的,并且困难样本和简单样本之间没有区别。然而,困难样本挖掘对于改进推荐系统具有重要意义。
(2)所有非正样本都被认为是负样本,但那些与用户有很大相似性的样本可能是潜在的正样本。挖掘这些潜在正样本可以解决正样本不足和数据稀疏的问题,有助于提高性能。
这两个问题都与推荐系统中负样本的处理有关。在推荐系统中如何看待和处理负样本是一个重要的问题。一般来说,用户与之互动的物品都被视为正样本,也就是所谓的“观察到的”正样本。没有互动的物品被简单地视为负样本是不合理的,它们被看做是“未标记的数据”,其中也包含用户可能喜欢的物品。推荐系统的主要目标是从没有与用户进行过交互的项目(负样本)中检索和排序,并推荐用户可能喜欢的项目。因此,通过对负样本的合理处理,可以有效地提高推荐系统的性能,这在现有的工作中得到了证明。现有的困难样本挖掘方法常使用复杂的模型(如GAN,强化学习)以及额外的辅助信息,这些造成了此类方法的复杂性、应用的局限性、场景的适应性问题。潜在正样本的挖掘则是一个很少关注的话题。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于排序对比损失的推荐方法、系统、介质及设备,用于解决CL损失函数没有区分样本学习难度及挖掘困难样本,以及推荐系统缺少正样本和稀疏性问题的技术问题。
本发明采用以下技术方案:
一种基于排序对比损失的推荐方法,包括以下步骤:
S1、对用户的交互记录数据进行预处理,将用户、项目分别作为图的节点,用户和交互过的项目建立一条边,得到用户-项目图G;
S2、利用步骤S1得到的用户-项目图G,通过深度学习推荐模型pLighGCN 得到用户和物品的特征表达eu和ei
S3、利用步骤S2得到用户和物品的特征表达eu和ei计算用户与样本的相似度,根据相似度得到按行排序后的相似度矩阵;
S4、基于步骤S3得到的相似度矩阵挖掘困难样本和潜在正例,利用困难样本和潜在正例改进对比损失得到排序对比损失函数LRCL,利用排序对比损失函数LRCL对深度学习推荐模型pLighGCN进行训练,得到推荐模型用于实现推荐任务。
具体的,步骤S2中,用户和物品的特征表达eu和ei具体为:
Figure BDA0003873075780000031
Figure BDA0003873075780000032
其中,αk是每层的权重参数,k是层的最大数量,
Figure BDA0003873075780000033
分别是第k层特征变换后的u,i的特征向量。
具体的,步骤S3中,计算用户与样本的相似度sim(u,i)并得到按行排序后的相似度矩阵,具体为:
Figure BDA0003873075780000034
其中,eu,ei是用户和项目的特征表达,u,i分别为用户和项目。
具体的,步骤S4具体为:
S401、挖掘步骤S3中排序后的相似度矩阵,得到的困难样本并得到加权对比损失函数LWCL
S402、挖掘步骤S3中排序后的相似度矩阵,并构造得到基于潜在正例的对比损失函数LPCL
S403、结合步骤S401得到的加权对比损失函数LWCL和步骤S402得到的潜在正例的对比损失函数LPCL确定排序对比损失函数LRCL
S404、根据步骤S403得到的排序对比损失函数LRCL,完成对pLightGCN 的训练,依据u和各个项目的相似度结果
Figure BDA0003873075780000035
推荐最相似的k个项目给用户u,完成推荐任务。
进一步的,步骤S401中,加权对比损失函数LWCL为:
Figure BDA0003873075780000036
其中,N为训练批次大小,u,i分别为用户和项目,eu,ei是用户和项目的特征表达,G为u,i构成的交互图,I-为负样本集合,g是转换函数,γ是超参数,τ是温度系数。
进一步的,步骤S402中,基于潜在正例的对比损失函数LPCL为:
Figure BDA0003873075780000041
其中,λ为超参数,N为训练批次大小,u,i分别为用户和项目,G为 u,i构成的交互图,I-为负样本集合,T为挖掘的潜在正例的集合,i+和j分别为正例和挖掘的潜在正例,τ为温度系数,sim(u,i)为用户u、项目i的潜向量eu、 ei的余弦相似度。
进一步的,步骤S403中,排序对比损失函数LRCL为:
Figure BDA0003873075780000042
其中,λ为超参数,N为训练批次大小,u,i分别为用户和项目, G为u,i构成的交互图,I-为负样本集合,T为挖掘的潜在正例的集合,i+和j分别为正例和挖掘的潜在正例,T为相似度最高的j物品集合。
第二方面,本发明实施例提供了一种基于排序对比损失的推荐系统,包括:
预处理模块,对用户的交互记录数据进行预处理,将用户、项目分别作为图的节点,用户和交互过的项目建立一条边,得到用户-项目图G;
表征模块,利用预处理模块得到的用户-项目图G,通过深度学习推荐模型得到用户和物品的特征表达eu和ei
排序模块,利用表征模块得到用户和物品的特征表达eu和ei计算用户与样本的相似度,根据相似度得到按行排序后的相似度矩阵;
推荐模块,基于排序模块得到的相似度矩阵挖掘困难样本和潜在正例,利用困难样本和潜在正例改进对比损失得到排序对比损失函数LRCL,利用排序对比损失函数LRCL对深度学习推荐模型pLighGCN进行训练,得到推荐模型用于实现推荐任务。
第三方面,一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于排序对比损失的推荐方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,包括计算机程序,所述计算机程序被处理器执行时实现上述基于排序对比损失的推荐方法的步骤。
与现有技术相比,本发明至少具有以下有益效果:
本发明一种基于排序对比损失的推荐方法,基于训练批次内用户和项目相似度排序,简单有效地挖掘了困难样本和挖掘潜在正例,并结合对比损失函数提出了基于排序的对比损失函数LRCL,将对比损失和推荐系统的困难样本挖掘、潜在正例挖掘结合和改进,结合现有图卷积模型pLightGCN,形成先进的推荐方法,使模型自适应地更加关注和学习困难样本,且有助于缓解正样本不足和稀疏性问题。
进一步的,用户和物品的特征表达eu和ei便于深度学习模型和方法学习到用户和项目更高质量的潜在特征。
进一步的,基于排序后的相似度矩阵发现了用户正样本并不是排在最前边,进而便于后续简单有效地实现了困难样本挖掘和潜在正例的挖掘,是后续改进和利用的基础。矩阵运算也有利于GPU进行加速训练。
进一步的,步骤S4分步骤挖掘、使用了困难样本和潜在正例,提出了基于 CL的两个改进LWCL和LPCL,并结合形成了LRCL函数,从不同角度进行了样本挖掘,而结合CL进行损失函数改进的方式,简单、直观、有效、有普适性。
进一步的,基于排序的相似度矩阵,区分了困难样本和简单样本,显式地挖掘困难样本。基于相似度值的变换和加权形成了加权对比损失函数LWCL,它能自适应地调整样本的权重,使训练过程更加注重困难样本的学习,提升模型效果。
进一步的,基于排序的相似度矩阵,挖掘到潜在正例作为正例使用,有助于缓解稀疏性问题,结合CL直接利用这些潜在正例形成了基于潜在正例的对比损失函数LPCL,等价于训练中使用了更多的正样本,提升模型效果。
进一步的,困难样本不容易学习,是从学习难度和样本学习的质量考虑;潜在正例的挖掘利用是从可学习的正样本数量考虑。因此,二者结合起来共同发挥作用,排序对比损失函数LRCL结合了上述两点改进可以取得更优的效果。此外,基于LWCL的加权学习利于获得更好的排序质量,提升了最前面的样本即潜在正例的质量。
可以理解的是,上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
综上所述,本发明使用基于排序的困难样本挖掘及损失函数加权、潜在正例挖掘及损失函数应用,以及二者的结合形成排序对比损失函数和推荐方法,显著提升了推荐性能。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明方法流程图;
图2为用户和样本相似度排序结果示意图;
图3为RCL与其他方法训练效率的对比图,其中,(a)为Yelp数据集上的练效率的对比图,(b)为Amazon-book数据集上的练效率的对比图;
图4为本发明图卷积每层重要性定量表示图,其中,(a)为基于Yelp数据集的图卷积每层重要性定量表示结果,(b)为基于Amazon-book数据集的图卷积每层重要性定量表示结果;
图5是本发明一实施例提供的计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合,例如,A和/或B,可以为:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本发明中字符“/”,一般为前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等,但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一预设范围也可以被称为第二预设范围,类似地,第二预设范围也可以被称为第一预设范围。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的,其中为了清楚表达的目的,放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/ 层。
本发明提供了一种基于排序对比损失的推荐方法,基于训练批次内用户和项目相似度排序,简单有效地挖掘了困难样本和挖掘潜在正例,并结合对比损失函数提出了基于排序的对比损失函数(RCL)和推荐方法。本发明提出的方法使模型自适应地更加关注和学习困难样本,且有助于缓解正样本不足和稀疏性问题。实验证明本发明方法先进的性能、广泛的适用性和较高的训练效率。
top-k推荐的常用损失函数BPR,以及对比学习领域常用的损失函数对比损失(Contrastive Loss,CL)。
BPR损失为:
Figure BDA0003873075780000081
其中,D={(u,i,j),u∈U,i,j∈I},U,I是用户和项的集合,
Figure BDA0003873075780000082
i,j分别为正项和负项;σ是sigmoid函数;
Figure BDA0003873075780000083
是用户和商品的内积。
对比损失函数有多种来源和近似的形式,都可以应用本发明的改进方法;本发明使用的一种形式为:
Figure BDA0003873075780000084
Figure BDA0003873075780000085
其中,sim(u,i)是基于用户u、项目i的潜向量eu、ei的余弦相似度,G为u,i构成的交互图;i+为目标用户u的正样本,I-为负样本集合,N为训练批次大小。遵循对比学习中使用的抽样策略,即对用户u,除正样本i+外,同一训练批次中其他N-1项被视为负样本。
请参阅图1,本发明一种基于排序对比损失的推荐方法,将LightGCN改进为pLightGCN并作为基线方法,包括以下步骤:
S1、数据预处理得到用户-项目图;
收集用户的交互记录,如评分、评论、点赞、转发等。一般地,将用户的交互记录数据转换为隐式交互记录(0代表未交互,1代表交互过)或者图数据 (有交互记录则图中存在边或者连接)。此处将其转换得到用户-项目图G。
S2、通过深度学习推荐模型得到用户和物品的特征表达eu和ei
按照深度学习推荐模型的主流做法,首先创建用户和项目的潜向量,作为用户和项目的特征表达,
Figure BDA0003873075780000091
其中,d是潜向量维度,潜向量的不同维度为推荐系统中用户或项目的不同特征或偏好。为了和后续表达一致,上标 0代表初始的潜向量层。
选择了图卷积领域最先进的方法LightGCN作为的基本方法,并改进为pLightGCN。根据交互图G,用户和物品的潜向量由以下GCN获得:
Figure BDA0003873075780000092
Figure BDA0003873075780000093
其中,u,i分别为用户和项目,
Figure BDA0003873075780000094
分别是第k层特征变换后的u,i的特征向量,一般设置它们具有相同的维度d,k=0为初始化的潜向量,
Figure BDA0003873075780000095
Figure BDA0003873075780000096
分别为图中节点u,i的邻居的集合。
用户和物品的最终特征向量计算如下:
Figure BDA0003873075780000097
Figure BDA0003873075780000098
其中,αk是每层的权重参数,k是层的最大数量。
在LightGCN中,αk参数被简单设置为1/(k+1),做出改进:将αk作为可学习的参数,并在训练过程中自动优化和学习,这种改进的方法被命名为 pLightGCN。
S3、计算用户与样本的相似度并得到按行排序后的相似度矩阵;
根据前述公式si m(u,i),在一个训练批次内(batch)N个用户及N个项目计算相似度得到N*N的相似度矩阵。矩阵的每行代表了某一个用户和所有项目的相似度,包含1个正样本和N-1个负样本。
每行按照相似度大小从高到底排序,得到排序后的相似度矩阵。发现许多负样本出现在正样本之前,如图2所示。图2中第k行中ok是ik的正样本,在排序结果中它一般都不是最相似的。
S4、挖掘困难样本和潜在正例并形成排序对比损失RCL,对pLightGCN模型进行训练和推荐。
S401、挖掘困难样本并得到加权对比损失函数LWCL
S4011、困难样本挖掘
从图2中排序结果来分析,排在正样本前边的样本与用户有更高的相似度,所以他们被认为是困难样本。正样本之后的样本学习难度低被看做简单样本。这样就区分出了困难样本和简单样本。
S4012、基于学习难度的加权
对于负样本,相似度越大,学习难度越大;相似度越低,越容易学习。因此,相似度与学习难度成正比,并被用作权重。困难样本的权重更大,简单样本权重相对变小,使得模型在训练时更加注重困难样本的学习,因而能够得到更好效果。由于正样本通常具有较高的相似度,通过相似度加权也可以促进它们的学习。因此,统一根据样本的相似性对所有样本进行加权。
加权后的损失函数为:
f(u,i)=(g(sim(u,i)))γexp(sim(u,i))/τ)
Figure BDA0003873075780000101
其中,函数g将余弦相似度值转换为正值,可以是softplus,softmax和 sigmoid等函数,本例中选用softplus;γ是一个正的超参数,如1,2,3等,它有助于在训练时调整样本的权重。
S402、挖掘并构造得到基于潜在正例的对比损失函数LPCL
S4021、潜在正例挖掘
从图2中排序结果中排名最靠前的几个项目被挖掘为潜在的正样本。推荐系统的目的是为用户选择最喜欢的商品,排名靠前的物品与用户非常相似,它们大概率是用户感兴趣但未交互的项目。排名越高,项目被推荐的概率就越高。将排名最高的|T|个人项目挖掘出来做为正样本,称为潜在正例或潜在正样本。
S4022、基于CL的潜在正例应用
推荐系统中正样本相对稀少,因而存在稀疏性问题。挖掘更多的正样本可以缓解稀疏性问题,提升推荐性能。挖掘到潜在正例后,它们可以直接按照正样本在CL中使用,因此,仿照CL,仅改变分子得到以下仅使用潜在正例的公式:
Figure BDA0003873075780000111
其中,T为被挖掘处理的潜在正例j的集合,一般地,前|T|个最相似的样本被使用,数量|T|是一个超参数。
作为改进,潜在正例可以作为附加项使用;因此,将LP与原始CL函数合并为LPCL如下:
Figure BDA0003873075780000112
其中,λ为超参数,用于衡量LP的贡献。
S403、结合困难样本和潜在正例挖掘得到排序对比损失函数LRCL
上述两个样本挖掘和损失函数是可以并行、分开的;鉴于二者从不同的角度进行挖掘,可以相互补充,因而将步骤S401和步骤S402两个改进相结合形成排序对比损失函数LRCL,此时等价于先后计算LWCL、LPCL
排序对比损失函数LRCL为:
Figure BDA0003873075780000121
S404、使用LRCL进行模型训练和推荐。
使用LRCL完成对pLightGCN的训练,得到用户和项目特征表达eu和ei的最终结果。
推荐阶段,用户u和项目i的相似度
Figure BDA0003873075780000122
为u,i最终特征表达的内积:
Figure BDA0003873075780000123
依据u和各个项目的相似度结果,推荐最相似的k个项目给用户u,进而完成推荐任务。
本发明再一个实施例中,提供一种基于排序对比损失的推荐系统,该系统能够用于实现上述基于排序对比损失的推荐方法,具体的,该基于排序对比损失的推荐系统包括预处理模块、表征模块、排序模块以及推荐模块。
其中,预处理模块,对用户的交互记录数据进行预处理,得到用户-项目图 G;
表征模块,通过深度学习推荐模型得到用户和物品的特征表达eu和ei
排序模块,利用表征模块得到用户和物品的特征表达eu和ei计算用户与样本的相似度,根据相似度得到按行排序后的相似度矩阵;
推荐模块,基于排序对比损失函数LRCL对模型进行训练,得到模型,。
本发明再一个实施例中,提供了一种终端设备,该终端设备包括处理器以及存储器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray, FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其是终端的计算核心以及控制核心,其适于实现一条或一条以上指令,具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能;本发明实施例所述的处理器可以用于基于排序对比损失的推荐方法的操作,包括:
对用户的交互记录数据进行预处理,将用户、项目分别作为图的节点,用户和交互过的项目建立一条边,得到用户-项目图G;利用用户-项目图G,通过深度学习推荐模型pLighGCN得到用户和物品的特征表达eu和ei;利用用户和物品的特征表达eu和ei计算用户与样本的相似度,根据相似度得到按行排序后的相似度矩阵;基于相似度矩阵挖掘困难样本和潜在正例,利用困难样本和潜在正例改进对比损失得到排序对比损失函数LRcL,利用排序对比损失函数LRCL对深度学习推荐模型pLighGCN进行训练,得到推荐模型用于实现推荐任务。
本发明再一个实施例中,本发明还提供了一种存储介质,具体为计算机可读存储介质(Memory),所述计算机可读存储介质是终端设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括终端设备中的内置存储介质,当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(Non-Volatile Memory),例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令,以实现上述实施例中有关基于排序对比损失的推荐方法的相应步骤;计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤:
对用户的交互记录数据进行预处理,将用户、项目分别作为图的节点,用户和交互过的项目建立一条边,得到用户-项目图G;利用用户-项目图G,通过深度学习推荐模型pLighGCN得到用户和物品的特征表达eu和ei;利用用户和物品的特征表达eu和ei计算用户与样本的相似度,根据相似度得到按行排序后的相似度矩阵;基于相似度矩阵挖掘困难样本和潜在正例,利用困难样本和潜在正例改进对比损失得到排序对比损失函数LRCL,利用排序对比损失函数LRCL对深度学习推荐模型pLighGCN进行训练,得到推荐模型用于实现推荐任务。
请参阅图5,该实施例的计算机设备60包括:处理器61、存储器62以及存储在存储器62中并可在处理器61上运行的计算机程序63,该计算机程序63 被处理器61执行时实现实施例中的基于排序对比损失的推荐方法,为避免重复,此处不一一赘述。或者,该计算机程序63被处理器61执行时实现实施例基于排序对比损失的推荐系统中各模型/单元的功能,为避免重复,此处不一一赘述。
计算机设备60可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备60可包括,但不仅限于,处理器61、存储器62。本领域技术人员可以理解,图5仅仅是计算机设备60的示例,并不构成对计算机设备 60的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器61可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列 (Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器62可以是计算机设备60的内部存储单元,例如计算机设备60的硬盘或内存。存储器62也可以是计算机设备60的外部存储设备,例如计算机设备60上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
进一步地,存储器62还可以既包括计算机设备60的内部存储单元也包括外部存储设备。存储器62用于存储计算机程序以及计算机设备所需的其它程序和数据。存储器62还可以用于暂时地存储已经输出或者将要输出的数据。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅为本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明方法在Yelp2018,Amazon-Book和Pinterest三个常用的基准数据集上进行实验,评估指标是Recall@20和NDCG@20.对比方法分为两类。一是主流的top-k推荐方法。MF、NGCF、LR-GCCF和LightGCN,后三者是最近基于GCN的强有竞争力的方法。二是基于损失函数的方法。这里采NNCF和 ENMF。
本发明方法相对于传统BPR损失显著提升了效果,各个改进点(挖掘困难样本加权的WCL、挖掘潜在正例的PCL)都有明确的性能提升。适应于不同的深度学习推荐模型。此外,RCL函数有较高的训练效率,本发明方法也给出了图卷积领域不同层重要性的定量数值,具体如下:
比较结果如表1所示。
表1方法对比实验结果
Figure BDA0003873075780000151
Figure BDA0003873075780000161
分步骤地进行了消融分析,验证了CL及改进的WCL、PCL、RCL相对于 BPR的有效性,结果如表2所示。特别地,pLightGCN是本发明对LightGCN 的改进,它在原有损失函数下表现更差,而在CL及WCL、PCL、RCL性能更优。
表2消融分析
Figure BDA0003873075780000162
展示RCL作为损失函数在不同深度学习推荐模型上的适应性,结果如表3 所示。其中,MF是基于潜向量的最基本模型,而其他模型是基于潜向量的复杂特征变换,即MF是其他模型的最基础版本。MF-RCL的成功表明RCL能够广泛应用于该领域的各种方法。
表3 RCL在不同模型上的适应性
Figure BDA0003873075780000163
Figure BDA0003873075780000171
展示了RCL具有较高的训练效率,如图3所示。很明显RCL具有最快的收敛速度和最好的结果,并且每轮次的训练时间几乎没有变化。
基于pLightGCN成功地学习了αk,如图4所示;这是图卷积网络(GCN)、图神经网络(GNN)领域内域中每层的重要性的第一个定量表达。
综上所述,本发明一种基于排序对比损失的推荐方法、系统、介质及设备,通过排序的相似度矩阵挖掘了困难样本和潜在正例,结合CL进行改进形成新的损失函数PCL,基于先进的图卷积网络模型pLightGCN在多个公共数据集上获得了领先的结果。本文提出的PCL损失函数及推荐方法直观、简单、有效、训练效率高、适应性强。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于排序对比损失的推荐方法,其特征在于,包括以下步骤:
S1、对用户的交互记录数据进行预处理,将用户、项目分别作为图的节点,用户和交互过的项目建立一条边,得到用户-项目图G;
S2、利用步骤S1得到的用户-项目图G,通过深度学习推荐模型pLighGCN得到用户和物品的特征表达eu和ei
S3、利用步骤S2得到的用户和物品的特征表达eu和ei计算用户与样本的相似度,根据相似度得到按行排序后的相似度矩阵;
S4、基于步骤S3得到的相似度矩阵挖掘困难样本和潜在正例,利用困难样本和潜在正例改进对比损失得到排序对比损失函数LRCL,利用排序对比损失函数LRCL对深度学习推荐模型pLighGCN进行训练,得到推荐模型用于实现推荐任务。
2.根据权利要求1所述的基于排序对比损失的推荐方法,其特征在于,步骤S2中,用户和物品的特征表达eu和ei具体为:
Figure FDA0003873075770000011
Figure FDA0003873075770000012
其中,αk是每层的权重参数,k是层的最大数量,
Figure FDA0003873075770000013
分别是第k层特征变换后的u,i的特征向量。
3.根据权利要求1所述的基于排序对比损失的推荐方法,其特征在于,步骤S3中,计算用户与样本的相似度sim(u,i)并得到按行排序后的相似度矩阵,具体为:
Figure FDA0003873075770000014
其中,eu,ei是用户和项目的特征表达,u,i分别为用户和项目。
4.根据权利要求1所述的基于排序对比损失的推荐方法,其特征在于,步骤S4具体为:
S401、挖掘步骤S3中排序后的相似度矩阵,得到的困难样本并得到加权对比损失函数LWCL
S402、挖掘步骤S3中排序后的相似度矩阵,并构造得到基于潜在正例的对比损失函数LPCL
S403、结合步骤S401得到的加权对比损失函数LWCL和步骤S402得到的潜在正例的对比损失函数LPCL确定排序对比损失函数LRCL
S404、根据步骤S403得到的排序对比损失函数LRCL,完成对pLightGCN的训练,依据u和各个项目的相似度结果
Figure FDA0003873075770000021
推荐最相似的k个项目给用户u,完成推荐任务。
5.根据权利要求4所述的基于排序对比损失的推荐方法,其特征在于,步骤S401中,加权对比损失函数LWCL为:
Figure FDA0003873075770000022
其中,N为训练批次大小,u,i分别为用户和项目,eu,ei是用户和项目的特征表达,G为u,i构成的交互图,I-为负样本集合,g是转换函数,γ是超参数,τ是温度系数。
6.根据权利要求4所述的基于排序对比损失的推荐方法,其特征在于,步骤S402中,基于潜在正例的对比损失函数LPCL为:
Figure FDA0003873075770000023
其中,λ为超参数,N为训练批次大小,u,i分别为用户和项目,G为u,i构成的交互图,I-为负样本集合,T为挖掘的潜在正例的集合,i+和j分别为正例和挖掘的潜在正例,τ为温度系数,sim(,i)为用户u、项目i的潜向量eu、ei的余弦相似度。
7.根据权利要求4所述的基于排序对比损失的推荐方法,其特征在于,步骤S403中,排序对比损失函数LRCL为:
Figure FDA0003873075770000031
其中,λ为超参数,N为训练批次大小,u,i分别为用户和项目,G为u,i构成的交互图,I-为负样本集合,T为挖掘的潜在正例的集合,i+和j分别为正例和挖掘的潜在正例,T为相似度最高的j物品集合。
8.一种基于排序对比损失的推荐系统,其特征在于,包括:
预处理模块,对用户的交互记录数据进行预处理,将用户、项目分别作为图的节点,用户和交互过的项目建立一条边,得到用户-项目图G;
表征模块,利用预处理模块得到的用户-项目图G,通过深度学习推荐模型得到用户和物品的特征表达eu和ei
排序模块,利用表征模块得到用户和物品的特征表达eu和ei计算用户与样本的相似度,根据相似度得到按行排序后的相似度矩阵;
推荐模块,基于排序模块得到的相似度矩阵挖掘困难样本和潜在正例,利用困难样本和潜在正例改进对比损失得到排序对比损失函数LRCL,利用排序对比损失函数LRCL对深度学习推荐模型pLighGCN进行训练,得到推荐模型用于实现推荐任务。
9.一种存储一个或多个程序的计算机可读存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1至7所述的方法中的任一方法。
10.一种计算设备,其特征在于,包括:
一个或多个处理器、存储器及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至7所述的方法中的任一方法的指令。
CN202211212593.9A 2022-09-29 2022-09-29 一种基于排序对比损失的推荐方法、系统、介质及设备 Pending CN115689673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211212593.9A CN115689673A (zh) 2022-09-29 2022-09-29 一种基于排序对比损失的推荐方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211212593.9A CN115689673A (zh) 2022-09-29 2022-09-29 一种基于排序对比损失的推荐方法、系统、介质及设备

Publications (1)

Publication Number Publication Date
CN115689673A true CN115689673A (zh) 2023-02-03

Family

ID=85065141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211212593.9A Pending CN115689673A (zh) 2022-09-29 2022-09-29 一种基于排序对比损失的推荐方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN115689673A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151892A (zh) * 2023-04-20 2023-05-23 中国科学技术大学 物品推荐方法、系统、设备及存储介质
CN116911958A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 推荐系统模型训练方法、装置、电子设备及存储介质
CN117556273A (zh) * 2024-01-05 2024-02-13 支付宝(杭州)信息技术有限公司 一种通过多图形处理器计算对比损失的方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116151892A (zh) * 2023-04-20 2023-05-23 中国科学技术大学 物品推荐方法、系统、设备及存储介质
CN116151892B (zh) * 2023-04-20 2023-08-29 中国科学技术大学 物品推荐方法、系统、设备及存储介质
CN116911958A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 推荐系统模型训练方法、装置、电子设备及存储介质
CN117556273A (zh) * 2024-01-05 2024-02-13 支付宝(杭州)信息技术有限公司 一种通过多图形处理器计算对比损失的方法和装置
CN117556273B (zh) * 2024-01-05 2024-04-05 支付宝(杭州)信息技术有限公司 一种通过多图形处理器计算对比损失的方法和装置

Similar Documents

Publication Publication Date Title
Waegeman et al. Multi-target prediction: a unifying view on problems and methods
Bai et al. An attribute-aware neural attentive model for next basket recommendation
Hoque et al. EFS-MI: an ensemble feature selection method for classification: An ensemble feature selection method
CN115689673A (zh) 一种基于排序对比损失的推荐方法、系统、介质及设备
Wang et al. Perceiving the next choice with comprehensive transaction embeddings for online recommendation
US20160364393A1 (en) Search method and system
CN110175895B (zh) 一种物品推荐方法及装置
Zhao et al. Ranking on heterogeneous manifolds for tag recommendation in social tagging services
CN110889747B (zh) 商品推荐方法、装置、系统、计算机设备及存储介质
Eliyas et al. Recommendation systems: Content-based filtering vs collaborative filtering
CN108509466A (zh) 一种信息推荐方法和装置
CN109657116A (zh) 一种舆情搜索方法、搜索装置、存储介质和终端设备
CN110688565B (zh) 基于多维霍克斯过程和注意力机制的下一个物品推荐方法
CN112149003B (zh) 商品社群推荐方法、装置和计算机设备
CN114896517A (zh) 一种商品推荐方法、系统、设备及存储介质
Liu et al. Online recommendations based on dynamic adjustment of recommendation lists
Cao et al. An improved neighborhood-aware unified probabilistic matrix factorization recommendation
Zhang et al. Towards mobile query auto-completion: An efficient mobile application-aware approach
US20170286522A1 (en) Data file grouping analysis
Akhil et al. A survey of recommender system types and its classification.
Tang et al. Ranking-based contrastive loss for recommendation systems
Yang et al. Memory-aware gated factorization machine for top-N recommendation
Truong et al. Exploring cross-modality utilization in recommender systems
CN113362139B (zh) 基于双塔结构模型的数据处理方法和装置
CN111339435A (zh) 一种基于潜在因子的矩阵分解补全混合推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination