CN116932893A - 一种基于图卷积网络的序列推荐方法、系统、设备及介质 - Google Patents
一种基于图卷积网络的序列推荐方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN116932893A CN116932893A CN202310751303.6A CN202310751303A CN116932893A CN 116932893 A CN116932893 A CN 116932893A CN 202310751303 A CN202310751303 A CN 202310751303A CN 116932893 A CN116932893 A CN 116932893A
- Authority
- CN
- China
- Prior art keywords
- feature
- target
- features
- source
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000005096 rolling process Methods 0.000 claims abstract description 18
- 238000010586 diagram Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000003475 lamination Methods 0.000 claims description 4
- 238000000059 patterning Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000000265 homogenisation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图卷积网络的序列推荐方法、系统、设备及介质,其目的在于解决因模型尚不能有效地访问高阶依赖性信息从而导致模型不能识别序列推荐中用户不同时间段内的短期偏好间关系、推荐效率低的问题。该将历史数据进行构图后输入搭建好的多网络协作学习模块中,并将得到的编码、解码特征进行结合后进行协作学习,将经过多网络协作学习模块得到的集成编码特征进行融合、优化,利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。该方法从特征融合的角度将用户早期短期偏好的信息融合到了近期短期偏好中,使其能够识别用户在不同时间段内的短期偏好间关系,弥补了浅层网络设置的不足。
Description
技术领域
本发明属于人工智能技术领域,涉及一种序列推荐方法,尤其涉及一种基于图卷积网络的序列推荐方法、系统、设备及介质。
背景技术
互联网的快速发展,在便利人们生活的同时,也带来了信息过载问题,用户难以从海量数据中发现对自己真正有用的信息。推荐系统是一种缓解信息过载问题的工具,它旨在基于用户的历史交互记录向用户提供个性化推荐服务,在日常生活中发挥着越来越重要的作用。
基于协同过滤的推荐算法是推荐系统中应用最广泛的方法,它们通常利用全局用户交互数据为用户推荐前N个项目,如矩阵分解模型,能够有效模拟用户潜在的静态偏好,取得不错的推荐效果。然而在现实中,用户的兴趣通常会随着时间发生改变,传统的协同过滤推荐算法很难及时捕捉到这种变化。
现在比较先进的序列化推荐方法是将用户交互数据按照时间戳排序,试图捕获序列中的依赖关系,模拟用户的动态偏好,以得到更准确的推荐结果。伴随着近年来深度学习的迅速发展,尤其是在推荐系统领域,表现出极大的优势,得到了广泛的应用。图神经网络是深度学习的一个分支,其目的是对传统深度学习方法不能很好地处理的非欧式空间数据,通过将非欧式空间数据表示为图数据来进行处理,捕获样本之间复杂的相互依赖关系。
申请号为202211350762.5的发明专利申请就公开了一种考虑课程先导关系和课程分类的序列推荐方法,包括:1、根据用户与课程的交互数据,构造知识图谱,捕捉课程间的先导关系;2、根据用户学习的历史课程序列,利用门控图神经网络和注意力机制建模用户课程层面的兴趣;3、根据用户学习的历史课程序列、课程分类信息,利用GRU建模用户分类层面的长期兴趣转移;4、结合用户的两方面兴趣以及课程间的先导关系,预测用户对课程的偏好,选取合适的损失函数来优化模型。5、利用推荐模型预测用户对课程的偏好,为用户推荐下一个课程。本发明结合了知识图谱与图神经网络,既能捕捉课程之间的先导关系,又能从课程层面和分类层面捕捉用户的兴趣变化,从而实现更准确的推荐效果;并通过注意力机制融合得到用户在课程层面的兴趣,计算序列中不同课程对于当前兴趣的影响;通过倒置的位置表征来加强模型对于课程所处位置的敏感性认知,从而提高了推荐的准确性。
申请号为202310435302.0的发明专利申请就公开了一种基于融合用户意图的交互兴趣图的图卷积网络推荐方法,其包括:根据时序信息和位置信息,对图卷积网络推荐模型中用户-项目交互图中的项目序列重新构建,以生成簇型兴趣图,所述簇型兴趣图包括用户簇兴趣图和项目簇兴趣图;基于用户簇兴趣图和项目簇兴趣图对同簇属性和异簇属性分别实施交互建模,产生分别附有同质化和异质化的协作信号,将用户自身的表示与附有同质化和异质化的协作信号进行融合,生成高密度兴趣图;基于高密度兴趣图,利用双层神经网络构建分类模块,对每个用户节点均进行无监督分类,处于类边缘的节点自动分裂,形成多个中间子图,再以中间子图的共同意图来分析中间子图间的独立性,实施2次分裂,最终生成多个子图;将多个子图的用户唯一节点与同一项目的多个子图节点执行高阶图卷积操作,最终实现基于图卷积网络的推荐。该方法结合融入用户意图的兴趣图,进行簇间交互和二次子图分裂操作,使模型能在传播中更有选择性地对高阶节点汲取正反馈,以此来达到增强模型高阶传播学习的能力,让用户的潜在兴趣信息更大程度分布在兴趣图的相关位置上,从而提升推荐准确率。
随着序列推荐技术的发展,序列推荐技术应用广泛,广泛的应用场景也就意味着对序列推荐技术的要求也更加严格。如上述专利申请一样,现有的序列推荐的图卷积网络模型尚不能有效地访问高阶依赖性信息,从而导致模型不能识别序列推荐中用户不同时间段内的短期偏好间关系的问题,致使最终模型的推荐准确率偏低。
发明内容
为解决现有技术中存在的因模型尚不能有效地访问高阶依赖性信息从而导致模型不能识别序列推荐中用户不同时间段内的短期偏好间关系、推荐准确率低的问题,本发明提供了一种基于图卷积网络的序列推荐方法、系统、设备及介质。
为解决以上技术问题,本发明采用的技术方案如下:
一种基于图卷积网络的序列推荐方法,包括以下步骤:
步骤S1,数据预处理
获取用户的待推荐历史数据及用户特征,并根据待推荐历史数据中各项目的属性构造项目特征;
步骤S2,图构造
对用户序列进行划分,得到源序列和目标序列,再进行构图,得到源图、目标图;
步骤S3,协作学习
构建多网络协作学习模块,并将源图、目标图输入多网络协作学习模块,多网络协作学习模块的每个网络模块的编码器输出源编码特征、目标编码特征,每个网络模块的解码器对源编码特征、目标编码特征进行解码得到源解码特征、目标解码特征,对多个网络模块的源编码特征、目标编码特征、源解码特征、目标解码特征进行集成,得到源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征;
多网络协作学习模块利用源编码特征、目标编码特征、源解码特征、目标解码特征、源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行协作学习,得到成熟的多网络协作学习模块;
步骤S4,特征融合
将源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行融合,并将融合后的特征作为最终的节点特征;
步骤S5,序列推荐
利用最终的节点特征,通过贝叶斯个性化排序损失对最终的节点特征和用户特征进行优化,得到优化后的用户特征;利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。
进一步地,步骤S2中,包括:
将序列划分为两个子序列:源序列和目标序列,再对子序列进行构图;
进行图构造,根据计算各项目特征间的余弦相似度,得到相似度矩阵M;将相似度矩阵M中的元素按降序进行排列,并根据排序取一定数量的元素构造图邻接矩阵A,得到用户交互序列对应的源图、目标图。
进一步地,图构造的具体步骤为:
S2-1,将用户的交互序列S={v1,v2,...,vm}划分为两个子序列:源序列目标序列
步骤S2-2,对两个子序列进行构图,计算各项目特征间的余弦相似度,得到相似度矩阵M,
其中,i、j分别表示子序列中的节点i和节点j,vi、vj分别表示节点i的特征和节点j的特征;
步骤S2-3,将相似度矩阵M中的元素按降序进行排列,并取前k%的元素来构造图邻接矩阵A,
其中,k表示计算得到的值,计算公式为;
q=p log2 p
其中,p表示图中节点的数量,q表示图中边的数量;
步骤S2-4,通过步骤S2-3,得到两种图:源图Gsource和目标图Gtarget。
进一步地,步骤S3中,多网络协作学习模块包括多个结构相同但初始化不同的网络模块,每个网络模块均包括编码器、解码器,编码器包括两层GCN网络,解码器包括全连接层。
进一步地,步骤S3中,协作学习的具体方法为:
步骤S3-1,将源图、目标图输入各网络模块,并记图中节点的初始特征为H,编码器中的GCN通过聚合邻居节点的特征对节点的初始特征进行更新,最终编码器输出源编码特征、目标编码特征;聚合邻居节点时所采用的聚合函数为:
其中,i表示第i个节点,j表示第j个节点,n表示第n个网络模块,l表示第l层图卷积,σ表示ReLU激活函数,均表示训练参数,N(i)表示节点i的一阶邻居,表示节点j在第l层的特征,表示节点i与其邻居节点j的平方根的乘积;
步骤S3-2,解码器对源编码特征、目标编码特征进行解码,得到源解码特征、目标解码特征,解码特征的计算表示为:
DR=σ(WRER+kR)
其中,ER表示编码特征,WR和bR均表示训练参数,σ表示ReLU激活函数;
步骤S3-3,利用平均方法对多个网络模块的源编码特征、目标编码特征、源解码特征、目标解码特征进行集成,得到集成编码特征、集成解码特征,集成编码特征包括源集成编码特征、目标集成编码特征,集成解码特征包括源集成解码特征、目标集成解码特征;
集成编码特征的计算表示为:
集成解码特征的计算表示为:
其中,x表示第x个网络模块,n表示网络模块的数量,En表示第n个网络模块的图编码特征,Dn表示第n个网络模块的解码特征;
步骤S3-4,在进行协作学习时,编码特征协作学习损失函数为:
解码特征协作学习损失函数为:
其中,x、y分别表示第x个网络模块、第y个网络模块,n表示网络模块的数量,Ex、Ey分别表示第x个网络模块的编码特征、第y个网络模块的编码特征,E表示集成编码特征,Dx、Dx分别表示第x个网络模块的解码特征、第y个网络模块的解码特征,D表示集成解码特征,MSE表示均方误差;
步骤S3-5,重构损失函数,损失函数为:
Lrecon=MSE(D,H)
其中,D表示集成解码特征,H表示图初始特征,MSE表示均方误差。
进一步地,步骤S4中,在进行特征融合时,具体方法为:
步骤S4-1,构建融合网络,融合网络包括一个图卷积层和一个全连接层;将包括源集成编码特征、目标集成编码特征的集成编码特征Es、以及包括源集成解码特征、目标集成解码特征的集成解码特征Et输入融合网络的图卷积层,得到对应的特征Fs、特征Ft,并根据特征Fs生成中间特征Fi:
Fi=AattFsW
其中,W∈Rd×d表示可训练的权重矩阵,表示迁移矩阵;
迁移矩阵Adtt中第i行第j列的元素aij表示为:
其中,vi表示目标图Gtarget上节点i的特征,vj表示源图Gsource上节点j的特征,cos(vi,vj)是vi与vj间的余弦相似度;
步骤S4-2,根据中间特征Fi,对特征Fs、特征Ft进行融合,融合表示为:
Ft′=FT+σ(FC(Ft,Fi,Fs))
其中,Ft′表示融合后的特征,FC表示全连接层,σ表示ReLU激活函数,(Ft,Fi,Fs)表示特征Ft,Fi,Fs的串联。
进一步地,步骤S5中,进行序列推荐时,具体方法为:
步骤S5-1,利用融合后的特征F′t和用户特征U={u1,u2,...,uR}计算用户对正项和负项的评分:
其中,rc表示用户对正项c的评分,rd表示用户对负项d的评分,uc为用户特征,表示正项c的特征,表示负项d的特征,⊙为点积操作;
步骤S5-2,利用贝叶斯个性化排序损失函数对最终的节点特征和用户特征进行优化,贝叶斯个性化排序损失为:
其中,g表示第g个用户,G表示用户数量,u表示第u个正项,U表示正项的数量,R表示第R个负项,B表示负项的数量,rg表示用户对正项的评分,ru表示用户对负项的评分;
步骤S5-3,利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。
一种基于图卷积网络的序列推荐系统,包括:
数据预处理模块,用于获取用户的待推荐历史数据及用户特征,并根据待推荐历史数据中各项目的属性构造项目特征;
图构造模块,用于对用户序列进行划分,得到源序列和目标序列,再进行构图,得到源图、目标图;
协作学习模块,用于构建多网络协作学习模块,并将源图、目标图输入多网络协作学习模块,多网络协作学习模块的每个网络模块的编码器输出源编码特征、目标编码特征,每个网络模块的解码器对源编码特征、目标编码特征进行解码得到源解码特征、目标解码特征,对多个网络模块的源编码特征、目标编码特征、源解码特征、目标解码特征进行集成,得到源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征;
多网络协作学习模块利用源编码特征、目标编码特征、源解码特征、目标解码特征、源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行协作学习,得到成熟的多网络协作学习模块;
特征融合模块,用于将源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行融合,并将融合后的特征作为最终的节点特征;
序列推荐模块,用于利用最终的节点特征,通过贝叶斯个性化排序损失对最终的节点特征和用户特征进行优化,得到优化后的用户特征;利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述方法的步骤。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述方法的步骤。
与现有技术相比,本发明的有益效果是:
1、本发明中,改进了基于图卷积网络的序列推荐方法,从特征融合的角度将用户早期短期偏好的信息融合到了近期短期偏好中,使其能够识别用户在不同时间段内的短期偏好间关系,弥补了浅层网络设置的不足;此外,结合知识蒸馏的优势在项目特征学习中加入了协作学习,进一步增强了网络提取项目特征的能力,使各个网络都能从其他网络处获得更多样化的信息,从而提高网络表征能力并降低序列中噪声对于特征学习的影响,改善并提高模型在推荐任务中的推荐准确性。通过这种方法,能够有效的提取项目特征,得到更准确的用户偏好,提高推荐准确率,对于序列推荐具有重要意义。
附图说明
图1是本发明的流程示意简图;
图2是本发明的流程示意图;
图3是本发明中多网络协作学习模块的结构示意图。
具体实施方式
下面结合附图对本发明作进一步的说明。本发明的实施方式包括但不限于下列实施例。
实施例1
本实施例提供一种基于图卷积网络的序列推荐方法,用于对用户提供更为准确的序列推荐。如图1、图2所示,其具体包括如下步骤:
步骤S1,数据预处理
获取用户的待推荐历史数据及用户特征,并根据待推荐历史数据中各项目的属性构造项目特征。
待推荐历史数据包括影视剧的历史观影记录、网上购物的历史购物记录。若将该序列推荐方法用于电影或电视剧的推荐,则该待推荐历史数据即为用户的影视剧的历史观影记录;若将该序列推荐方法用于推荐商品,则该待推荐历史数据即为用户的网上购物的历史购物记录。
步骤S2,图构造
对用户序列进行划分,得到源序列和目标序列,再进行构图,得到源图、目标图。具体为:
先将用户序列划分为两个子序列:源序列和目标序列,再对子序列进行构图;
再进行图构造,根据计算各项目特征间的余弦相似度,得到相似度矩阵M;将相似度矩阵M中的元素按降序进行排列,并根据排序取一定数量的元素构造图邻接矩阵A,得到用户交互序列对应的源图、目标图。
本实施例提供一种具体的图构造的方法,该图构造的具体步骤为:
S2-1,将用户的交互序列S={v1,v2,...,vm}划分为两个子序列:源序列目标序列为了促进两个子序列特征的融合,这两个子序列的长度相等。
步骤S2-2,对两个子序列进行构图,计算各项目特征间的余弦相似度,得到相似度矩阵M,
其中,i、j分别表示子序列中的节点i和节点j,vi、vj分别表示节点i的特征和节点j的特征;
步骤S2-3,将相似度矩阵M中的元素按降序进行排列,并取前k%的元素来构造图邻接矩阵A,
其中,k表示计算得到的值,计算公式为;
q=p log2 p
其中,p表示图中节点的数量,q表示图中边的数量;
步骤S2-4,通过步骤S2-3,得到两种图:源图Gsource和目标图Gtarget。
步骤S3,协作学习,将步骤S2处理好的图像数据输入多网络协作学习模块,进行节点特征学习,具体为:
构建多网络协作学习模块,并将源图、目标图输入多网络协作学习模块,多网络协作学习模块的每个网络模块的编码器输出源编码特征、目标编码特征,每个网络模块的解码器对源编码特征、目标编码特征进行解码得到源解码特征、目标解码特征,对多个网络模块的源编码特征、目标编码特征、源解码特征、目标解码特征进行集成,得到源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征;
多网络协作学习模块利用源编码特征、目标编码特征、源解码特征、目标解码特征、源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行协作学习,得到成熟的多网络协作学习模块。
本实施例中,采用在多个网络的编码特征,多个网络的解码特征,集成编码特征与网络编码特征以及集成解码特征与网络解码特征之间执行协作学习,得到协作学习损失,对该损失进行优化,更新网络参数。特别的,将集成编码特征作为下一步的输入。
本实施例中,多网络协作学习模块利用两层的GCN网络作为编码器、一个全连接层作为解码器,编码器和解码器共同构成了一个轻量级网络。如图3所示,具体结构为:多网络协作学习模块包括多个结构相同但初始化不同的网络模块,每个网络模块均包括编码器、解码器,编码器包括两层GCN网络,解码器包括全连接层。
进一步地,步骤S3中,协作学习的具体方法为:
步骤S3-1,将源图、目标图输入各网络模块,并记图中节点的初始特征为H,利用GCN网络对节点特征进行更新;编码器中的GCN通过聚合邻居节点的特征对节点的初始特征进行更新,最终编码器输出源编码特征、目标编码特征;聚合邻居节点时所采用的聚合函数为:
其中,i表示第i个节点,j表示第j个节点,n表示第n个网络模块,l表示第l层图卷积,σ表示ReLU激活函数,均表示训练参数,N(i)表示节点i的一阶邻居,表示节点j在第l层的特征,表示节点i与其邻居节点j的平方根的乘积。
步骤S3-2,对于每一个网络模块,解码器对源编码特征、目标编码特征进行解码,得到源解码特征、目标解码特征,解码特征的计算表示为:
DR=σ(WRER+bR)
其中,ER表示编码特征,WR和bR均表示训练参数,σ表示ReLU激活函数。
步骤S3-3,利用平均方法对多个网络模块的源编码特征、目标编码特征、源解码特征、目标解码特征进行集成,得到集成编码特征、集成解码特征,集成编码特征包括源集成编码特征、目标集成编码特征,集成解码特征包括源集成解码特征、目标集成解码特征;
集成编码特征的计算表示为:
集成解码特征的计算表示为:
其中,x表示第x个网络模块,n表示网络模块的数量,En表示第n个网络模块的图编码特征,Dn表示第n个网络模块的解码特征;在此过程中,将集成编码特征E作为多网络协作学习模块的输出。
步骤S3-4,在得道上述数据后,接下来进行协作学习,编码特征协作学习损失函数为:
解码特征协作学习损失函数为:
其中,x、y分别表示第x个网络模块、第y个网络模块,n表示网络模块的数量,Ex、Ey分别表示第x个网络模块的编码特征、第y个网络模块的编码特征,E表示集成编码特征,Dx、Dy分别表示第x个网络模块的解码特征、第y个网络模块的解码特征,D表示集成解码特征,MSE表示均方误差。
该式计算了轻量级网络的编码特征之间的协作学习损失以及轻量级网络的编码特征与集成编码特征之间的协作学习损失。
步骤S3-5,重构损失函数,损失函数为:
Lrecon=MSE(D,H)
其中,D表示集成解码特征,H表示图初始特征,MSE表示均方误差。
经过上述计算后,采用损失函数进行优化来更新各个轻量级网络(即网络模块)的参数以获取更加准确的项目潜在特征。
步骤S4,特征融合
将源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行融合,并将融合后的特征作为最终的节点特征。
在融合时,先根据的关系得到一个中间特征,该中间特征体现了两个特征的关系,并将融合后的特征作为最终的节点特征。
特征融合的目的是为了使目标图上近期短期偏好能够从源图上的早期短期偏好中获取信息。所以,在进行特征融合时,具体方法为:
步骤S4-1,构建融合网络,融合网络包括一个图卷积层和一个全连接层;将包括源集成编码特征、目标集成编码特征的集成编码特征Es、以及包括源集成解码特征、目标集成解码特征的集成解码特征Et输入融合网络的图卷积层,得到对应的特征Fs、特征Ft。由于直接将特征相加进行融合的方法会忽略不同节点之间的关系,同时会忽略不同的短期偏好之间的相关程度,所以本实施例将根据特征Fs生成中间特征Fi:
Fi=AattFsW
其中,W∈Rd×d表示可训练的权重矩阵,表示迁移矩阵。
此外,本实施例还采用注意力机制来适应性地聚合来自各种早期短期偏好的知识,迁移矩阵Aatt中第i行第j列的元素aij表示为:
其中,vi表示目标图Gtarget上节点i的特征,vj表示源图Gsource上节点j的特征,cos(vi,vj)是vi与vj间的余弦相似度。
步骤S4-2,在得到了Aatt后,根据中间特征Fi,对特征Fs、特征Ft进行融合,融合表示为:
Ft′=FT+σ(FC(Ft,Fi,Fs))
其中,Ft′表示融合后的特征,FC表示全连接层,σ表示ReLU激活函数,(Ft,Fi,Fs)表示特征Ft,Fi,Fs的串联。
步骤S5,序列推荐
利用最终的节点特征,通过贝叶斯个性化排序损失对最终的节点特征和用户特征进行优化,得到优化后的用户特征;利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。
步骤S5中,进行序列推荐时,具体方法为:
步骤S5-1,利用融合后的特征Ft′和用户特征U={u1,u2,...,uR}计算用户对正项和负项的评分:
其中,rc表示用户对正项c的评分,rd表示用户对负项d的评分,uc为用户特征,表示正项c的特征,表示负项d的特征,⊙为点积操作;需要说明的是,此处的正项、负项的特征用的就是融合后的特征;
步骤S5-2,利用贝叶斯个性化排序损失函数对最终的节点特征和用户特征进行优化,贝叶斯个性化排序损失为:
其中,g表示第g个用户,G表示用户数量,u表示第u个正项,U表示正项的数量,R表示第R个负项,B表示负项的数量,rg表示用户对正项的评分,ru表示用户对负项的评分;
步骤S5-3,利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。
实验情况:
本实施例中,训练数据集采用Movielens-1M(MLs-1M)数据集,这个数据集为电影数据集,本实施例对数据集进行处理,过滤掉其中观看电影数量少于20部的用户和观看人数少于5的电影,并将评分大于3的项目作为用户的正项,小于3的项目作为用户的负项。对于每个用户序列,按照8:1:1的比例划分训练集,验证集与测试集。将本实施例的方法与多个对比方法进行了实验,现有的GCMC、NGCF、LightGCN方法在MLs-1M数据集上的推荐结果分别为9.67%,10.3%,11.51%;而采用本实施例的协作学习与特征融合的图卷积网络在Movielens-1M(MLs-1M)数据集上的结果为12.24%,相比于其他GCN方法,本实施例的方法有了明显的提升,验证了所提方法的有效性。
实施例2
本实施例提供一种基于图卷积网络的序列推荐系统,用于对用户提供更为准确的序列推荐。如图1、图2所示,其具体包括:
数据预处理模块,用于获取用户的待推荐历史数据及用户特征,并根据待推荐历史数据中各项目的属性构造项目特征。
待推荐历史数据包括影视剧的历史观影记录、网上购物的历史购物记录。若将该序列推荐方法用于电影或电视剧的推荐,则该待推荐历史数据即为用户的影视剧的历史观影记录;若将该序列推荐方法用于推荐商品,则该待推荐历史数据即为用户的网上购物的历史购物记录。
图构造模块,用于对用户序列进行划分,得到源序列和目标序列,再进行构图,得到源图、目标图。具体为:
先将用户序列划分为两个子序列:源序列和目标序列,再对子序列进行构图;
再进行图构造,根据计算各项目特征间的余弦相似度,得到相似度矩阵M;将相似度矩阵M中的元素按降序进行排列,并根据排序取一定数量的元素构造图邻接矩阵A,得到用户交互序列对应的源图、目标图。
本实施例提供一种具体的图构造的方法,该图构造的具体步骤为:
S2-1,将用户的交互序列S={v1,v2,...,vm}划分为两个子序列:源序列目标序列为了促进两个子序列特征的融合,这两个子序列的长度相等。
步骤S2-2,对两个子序列进行构图,计算各项目特征间的余弦相似度,得到相似度矩阵M,
其中,i、j分别表示子序列中的节点i和节点j,vi、vj分别表示节点i的特征和节点j的特征;
步骤S2-3,将相似度矩阵M中的元素按降序进行排列,并取前k%的元素来构造图邻接矩阵A,
其中,k表示计算得到的值,计算公式为;
q=p log2 p
其中,p表示图中节点的数量,q表示图中边的数量;
步骤S2-4,通过步骤S2-3,得到两种图:源图Gsource和目标图Gtraget。
协作学习模块,用于将图构造模块处理好的图像数据输入多网络协作学习模块,进行节点特征学习,具体为:
构建多网络协作学习模块,并将源图、目标图输入多网络协作学习模块,多网络协作学习模块的每个网络模块的编码器输出源编码特征、目标编码特征,每个网络模块的解码器对源编码特征、目标编码特征进行解码得到源解码特征、目标解码特征,对多个网络模块的源编码特征、目标编码特征、源解码特征、目标解码特征进行集成,得到源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征;
多网络协作学习模块利用源编码特征、目标编码特征、源解码特征、目标解码特征、源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行协作学习,得到成熟的多网络协作学习模块。
本实施例中,采用在多个网络的编码特征,多个网络的解码特征,集成编码特征与网络编码特征以及集成解码特征与网络解码特征之间执行协作学习,得到协作学习损失,对该损失进行优化,更新网络参数。特别的,将集成编码特征作为下一步的输入。
本实施例中,多网络协作学习模块利用两层的GCN网络作为编码器、一个全连接层作为解码器,编码器和解码器共同构成了一个轻量级网络。如图3所示,具体结构为:多网络协作学习模块包括多个结构相同但初始化不同的网络模块,每个网络模块均包括编码器、解码器,编码器包括两层GCN网络,解码器包括全连接层。
进一步地,协作学习模块中,协作学习的具体方法为:
步骤S3-1,将源图、目标图输入各网络模块,并记图中节点的初始特征为H,利用GCN网络对节点特征进行更新;编码器中的GCN通过聚合邻居节点的特征对节点的初始特征进行更新,最终编码器输出源编码特征、目标编码特征;聚合邻居节点时所采用的聚合函数为:
其中,i表示第i个节点,j表示第j个节点,n表示第n个网络模块,l表示第l层图卷积,σ表示ReLU激活函数,均表示训练参数,N(i)表示节点i的一阶邻居,表示节点j在第l层的特征,表示节点i与其邻居节点j的平方根的乘积。
步骤S3-2,对于每一个网络模块,解码器对源编码特征、目标编码特征进行解码,得到源解码特征、目标解码特征,解码特征的计算表示为:
DR=σ(WRER+bR)
其中,ER表示编码特征,WR和bR均表示训练参数,σ表示ReLU激活函数。
步骤S3-3,利用平均方法对多个网络模块的源编码特征、目标编码特征、源解码特征、目标解码特征进行集成,得到集成编码特征、集成解码特征,集成编码特征包括源集成编码特征、目标集成编码特征,集成解码特征包括源集成解码特征、目标集成解码特征;
集成编码特征的计算表示为:
集成解码特征的计算表示为:
其中,x表示第x个网络模块,n表示网络模块的数量,En表示第n个网络模块的图编码特征,Dn表示第n个网络模块的解码特征;在此过程中,将集成编码特征E作为多网络协作学习模块的输出。
步骤S3-4,在得道上述数据后,接下来进行协作学习,编码特征协作学习损失函数为:
解码特征协作学习损失函数为:
其中,x、y分别表示第x个网络模块、第y个网络模块,n表示网络模块的数量,Ex、Ey分别表示第x个网络模块的编码特征、第y个网络模块的编码特征,E表示集成编码特征,Dx、Dy分别表示第x个网络模块的解码特征、第y个网络模块的解码特征,D表示集成解码特征,MSE表示均方误差。
该式计算了轻量级网络的编码特征之间的协作学习损失以及轻量级网络的编码特征与集成编码特征之间的协作学习损失。
步骤S3-5,重构损失函数,损失函数为:
Lrecon=MSE(D,H)
其中,D表示集成解码特征,H表示图初始特征,MSE表示均方误差。
经过上述计算后,采用损失函数进行优化来更新各个轻量级网络(即网络模块)的参数以获取更加准确的项目潜在特征。
特征融合模块,用于将源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行融合,并将融合后的特征作为最终的节点特征。
在融合时,先根据的关系得到一个中间特征,该中间特征体现了两个特征的关系,并将融合后的特征作为最终的节点特征。
特征融合的目的是为了使目标图上近期短期偏好能够从源图上的早期短期偏好中获取信息。所以,在进行特征融合时,具体方法为:
步骤S4-1,构建融合网络,融合网络包括一个图卷积层和一个全连接层;将包括源集成编码特征、目标集成编码特征的集成编码特征Es、以及包括源集成解码特征、目标集成解码特征的集成解码特征Et输入融合网络的图卷积层,得到对应的特征Fs、特征Ft。由于直接将特征相加进行融合的方法会忽略不同节点之间的关系,同时会忽略不同的短期偏好之间的相关程度,所以本实施例将根据特征Fs生成中间特征Fi:
Fi=AattFsW
其中,W∈Rd×d表示可训练的权重矩阵,表示迁移矩阵。
此外,本实施例还采用注意力机制来适应性地聚合来自各种早期短期偏好的知识,迁移矩阵Aatt中第i行第j列的元素aij表示为:
其中,vi表示目标图Gtarget上节点i的特征,vj表示源图Gsource上节点j的特征,cos(vi,vj)是vi与vj间的余弦相似度。
步骤S4-2,在得到了Aatt后,根据中间特征Fi,对特征Fs、特征Ft进行融合,融合表示为:
Ft′=FT+σ(FC(Ft,Fi,Fs))
其中,Ft′表示融合后的特征,FC表示全连接层,σ表示ReLU激活函数,(Ft,Fi,Fs)表示特征Ft,Fi,Fs的串联。
序列推荐模块,用于利用最终的节点特征,通过贝叶斯个性化排序损失对最终的节点特征和用户特征进行优化,得到优化后的用户特征;利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。
步骤S5中,进行序列推荐时,具体方法为:
步骤S5-1,利用融合后的特征Ft′和用户特征U={u1,u2,...,un}计算用户对正项和负项的评分:
其中,rc表示用户对正项c的评分,rd表示用户对负项d的评分,uc为用户特征,表示正项c的特征,表示负项d的特征,⊙为点积操作;
步骤S5-2,利用贝叶斯个性化排序损失函数对最终的节点特征和用户特征进行优化,贝叶斯个性化排序损失为:
其中,g表示第g个用户,G表示用户数量,u表示第u个正项,U表示正项的数量,R表示第R个负项,B表示负项的数量,rg表示用户对正项的评分,ru表示用户对负项的评分;
步骤S5-3,利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。
实验情况:
本实施例中,训练数据集采用Movielens-1M(MLs-1M)数据集,这个数据集为电影数据集,本实施例对数据集进行处理,过滤掉其中观看电影数量少于20部的用户和观看人数少于5的电影,并将评分大于3的项目作为用户的正项,小于3的项目作为用户的负项。对于每个用户序列,按照8:1:1的比例划分训练集,验证集与测试集。将本实施例的方法与多个对比方法进行了实验,现有的GCMC、NGCF、LightGCN方法在MLs-1M数据集上的推荐结果分别为9.67%,10.3%,11.51%;而采用本实施例的协作学习与特征融合的图卷积网络在Movielens-1M(MLs-1M)数据集上的结果为12.24%,相比于其他GCN方法,本实施例的方法有了明显的提升,验证了所提方法的有效性。
实施例3
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行基于图卷积网络的序列推荐方法的步骤。
其中,所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器可以是所述计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,所述存储器也可以是所述计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中,所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件,例如所述基于图卷积网络的序列推荐方法的程序代码等。此外,所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中,所述处理器用于运行所述存储器中存储的程序代码或者处理数据,例如运行所述基于图卷积网络的序列推荐方法的程序代码。
实施例4
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行基于图卷积网络的序列推荐方法的步骤。
其中,所述计算机可读存储介质存储有界面显示程序,所述界面显示程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的基于图卷积网络的序列推荐方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器或者网络设备等)执行本申请实施例所述基于图卷积网络的序列推荐方法。
如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程,并非用以限制本发明的专利保护范围,本发明的专利保护范围仍然以其权利要求书为准,凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明的保护范围内。
Claims (10)
1.一种基于图卷积网络的序列推荐方法,其特征在于,包括以下步骤:
步骤S1,数据预处理
获取用户的待推荐历史数据及用户特征,并根据待推荐历史数据中各项目的属性构造项目特征;
步骤S2,图构造
对用户序列进行划分,得到源序列和目标序列,再进行构图,得到源图、目标图;
步骤S3,协作学习
构建多网络协作学习模块,并将源图、目标图输入多网络协作学习模块,多网络协作学习模块的每个网络模块的编码器输出源编码特征、目标编码特征,每个网络模块的解码器对源编码特征、目标编码特征进行解码得到源解码特征、目标解码特征,对多个网络模块的源编码特征、目标编码特征、源解码特征、目标解码特征进行集成,得到源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征;
多网络协作学习模块利用源编码特征、目标编码特征、源解码特征、目标解码特征、源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行协作学习,得到成熟的多网络协作学习模块;
步骤S4,特征融合
将源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行融合,并将融合后的特征作为最终的节点特征;
步骤S5,序列推荐
利用最终的节点特征,通过贝叶斯个性化排序损失对最终的节点特征和用户特征进行优化,得到优化后的用户特征;利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。
2.如权利要求1所述的一种基于图卷积网络的序列推荐方法,其特征在于:步骤S2中,包括:
将序列划分为两个子序列:源序列和目标序列,再对子序列进行构图;
进行图构造,根据计算各项目特征间的余弦相似度,得到相似度矩阵M;将相似度矩阵M中的元素按降序进行排列,并根据排序取一定数量的元素构造图邻接矩阵A,得到用户交互序列对应的源图、目标图。
3.如权利要求3所述的一种基于图卷积网络的序列推荐方法,其特征在于:图构造的具体步骤为:
S2-1,将用户的交互序列S={v1,v2,...,vm}划分为两个子序列:源序列目标序列
步骤S2-2,对两个子序列进行构图,计算各项目特征间的余弦相似度,得到相似度矩阵M,
其中,i、j分别表示子序列中的节点i和节点j,vi、vj分别表示节点i的特征和节点j的特征;
步骤S2-3,将相似度矩阵M中的元素按降序进行排列,并取前k%的元素来构造图邻接矩阵A,
其中,k表示计算得到的值,计算公式为;
q=p log2p
其中,p表示图中节点的数量,q表示图中边的数量;
步骤S2-4,通过步骤S2-3,得到两种图:源图Gsource和目标图Gtarget。
4.如权利要求1所述的一种基于图卷积网络的序列推荐方法,其特征在于:步骤S3中,多网络协作学习模块包括多个结构相同但初始化不同的网络模块,每个网络模块均包括编码器、解码器,编码器包括两层GCN网络,解码器包括全连接层。
5.如权利要求4所述的一种基于图卷积网络的序列推荐方法,其特征在于:步骤S3中,协作学习的具体方法为:
步骤S3-1,将源图、目标图输入各网络模块,并记图中节点的初始特征为H,编码器中的GCN通过聚合邻居节点的特征对节点的初始特征进行更新,最终编码器输出源编码特征、目标编码特征;聚合邻居节点时所采用的聚合函数为:
其中,i表示第i个节点,j表示第j个节点,n表示第n个网络模块,l表示第l层图卷积,σ表示ReLU激活函数,均表示训练参数,N(i)表示节点i的一阶邻居,表示节点j在第l层的特征,表示节点i与其邻居节点j的平方根的乘积;
步骤S3-2,解码器对源编码特征、目标编码特征进行解码,得到源解码特征、目标解码特征,解码特征的计算表示为:
Dn=σ(WnER+bR)
其中,En表示编码特征,Wn和bn均表示训练参数,σ表示ReLU激活函数;
步骤S3-3,利用平均方法对多个网络模块的源编码特征、目标编码特征、源解码特征、目标解码特征进行集成,得到集成编码特征、集成解码特征,集成编码特征包括源集成编码特征、目标集成编码特征,集成解码特征包括源集成解码特征、目标集成解码特征;
集成编码特征的计算表示为:
集成解码特征的计算表示为:
其中,x表示第x个网络模块,n表示网络模块的数量,En表示第n个网络模块的图编码特征,Dn表示第n个网络模块的解码特征;
步骤S3-4,在进行协作学习时,编码特征协作学习损失函数为:
解码特征协作学习损失函数为:
其中,x、y分别表示第x个网络模块、第y个网络模块,n表示网络模块的数量,Ex、Ey分别表示第x个网络模块的编码特征、第y个网络模块的编码特征,E表示集成编码特征,Dx、Dy分别表示第x个网络模块的解码特征、第y个网络模块的解码特征,D表示集成解码特征,MSE表示均方误差;
步骤S3-5,重构损失函数,损失函数为:
Lrecon=MSE(D,H)
其中,D表示集成解码特征,H表示图初始特征,MSE表示均方误差。
6.如权利要求1所述的一种基于图卷积网络的序列推荐方法,其特征在于:步骤S4中,在进行特征融合时,具体方法为:
步骤S4-1,构建融合网络,融合网络包括一个图卷积层和一个全连接层;将包括源集成编码特征、目标集成编码特征的集成编码特征Es、以及包括源集成解码特征、目标集成解码特征的集成解码特征Et输入融合网络的图卷积层,得到对应的特征Fs、特征Ft,并根据特征Fs生成中间特征Fi:
其中,W∈Rd×d表示可训练的权重矩阵,表示迁移矩阵;
迁移矩阵Aatt中第i行第j列的元素aij表示为:
其中,vi表示目标图Gtarget上节点i的特征,vj表示源图Gsource上节点j的特征,cos(vi,vj)是vi与vj间的余弦相似度;
步骤S4-2,根据中间特征Fi,对特征Fs、特征Ft进行融合,融合表示为:
Ft′=FT+σ(FC(Ft,Fi,Fs))
其中,Ft′表示融合后的特征,FC表示全连接层,σ表示ReLU激活函数,(Ft,Fi,Fs)表示特征Ft,Fi,Fs的串联。
7.如权利要求1所述的一种基于图卷积网络的序列推荐方法,其特征在于:步骤S5中,进行序列推荐时,具体方法为:
步骤S5-1,利用融合后的特征Ft′和用户特征U=(u1,u2,...,un}计算用户对正项和负项的评分:
其中,rc表示用户对正项c的评分,rd表示用户对负项d的评分,uc为用户特征,表示正项c的特征,表示负项d的特征,⊙为点积操作;
步骤S5-2,利用贝叶斯个性化排序损失函数对最终的节点特征和用户特征进行优化,贝叶斯个性化排序损失为:
其中,g表示第g个用户,G表示用户数量,n表示第n个正项,II表示正项的数量,R表示第R个负项,B表示负项的数量,rg表示用户对正项的评分,ru表示用户对负项的评分;
步骤S5-3,利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。
8.一种基于图卷积网络的序列推荐系统,其特征在于,包括:
数据预处理模块,用于获取用户的待推荐历史数据及用户特征,并根据待推荐历史数据中各项目的属性构造项目特征;
图构造模块,用于对用户序列进行划分,得到源序列和目标序列,再进行构图,得到源图、目标图;
协作学习模块,用于构建多网络协作学习模块,并将源图、目标图输入多网络协作学习模块,多网络协作学习模块的每个网络模块的编码器输出源编码特征、目标编码特征,每个网络模块的解码器对源编码特征、目标编码特征进行解码得到源解码特征、目标解码特征,对多个网络模块的源编码特征、目标编码特征、源解码特征、目标解码特征进行集成,得到源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征;
多网络协作学习模块利用源编码特征、目标编码特征、源解码特征、目标解码特征、源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行协作学习,得到成熟的多网络协作学习模块;
特征融合模块,用于将源集成编码特征、目标集成编码特征、源集成解码特征、目标集成解码特征进行融合,并将融合后的特征作为最终的节点特征;
序列推荐模块,用于利用最终的节点特征,通过贝叶斯个性化排序损失对最终的节点特征和用户特征进行优化,得到优化后的用户特征;利用优化后的用户特征计算用户对项目的评分,并选择评分最高的项目最为推荐结果。
9.一种计算机设备,其特征在于:包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于:存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310751303.6A CN116932893B (zh) | 2023-06-21 | 2023-06-21 | 一种基于图卷积网络的序列推荐方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310751303.6A CN116932893B (zh) | 2023-06-21 | 2023-06-21 | 一种基于图卷积网络的序列推荐方法、系统、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116932893A true CN116932893A (zh) | 2023-10-24 |
CN116932893B CN116932893B (zh) | 2024-06-04 |
Family
ID=88393351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310751303.6A Active CN116932893B (zh) | 2023-06-21 | 2023-06-21 | 一种基于图卷积网络的序列推荐方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116932893B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2860672A2 (en) * | 2013-10-10 | 2015-04-15 | Deutsche Telekom AG | Scalable cross domain recommendation system |
US20200334495A1 (en) * | 2019-04-18 | 2020-10-22 | Google Llc | Systems and Methods for Determining Graph Similarity |
US20210042942A1 (en) * | 2019-08-07 | 2021-02-11 | Harman Becker Automotive Systems Gmbh | Road map fusion |
CN112612948A (zh) * | 2020-12-14 | 2021-04-06 | 浙大城市学院 | 一种基于深度强化学习的推荐系统构建方法 |
CN114519145A (zh) * | 2022-02-22 | 2022-05-20 | 哈尔滨工程大学 | 一种基于图神经网络挖掘用户长短期兴趣的序列推荐方法 |
WO2022152161A1 (zh) * | 2021-01-14 | 2022-07-21 | 蚂蚁智信(杭州)信息技术有限公司 | 混合图神经网络模型的训练、预测 |
CN115878904A (zh) * | 2023-02-22 | 2023-03-31 | 深圳昊通技术有限公司 | 基于深度学习的知识产权个性化推荐方法、系统及介质 |
-
2023
- 2023-06-21 CN CN202310751303.6A patent/CN116932893B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2860672A2 (en) * | 2013-10-10 | 2015-04-15 | Deutsche Telekom AG | Scalable cross domain recommendation system |
US20200334495A1 (en) * | 2019-04-18 | 2020-10-22 | Google Llc | Systems and Methods for Determining Graph Similarity |
US20210042942A1 (en) * | 2019-08-07 | 2021-02-11 | Harman Becker Automotive Systems Gmbh | Road map fusion |
CN112612948A (zh) * | 2020-12-14 | 2021-04-06 | 浙大城市学院 | 一种基于深度强化学习的推荐系统构建方法 |
WO2022152161A1 (zh) * | 2021-01-14 | 2022-07-21 | 蚂蚁智信(杭州)信息技术有限公司 | 混合图神经网络模型的训练、预测 |
CN114519145A (zh) * | 2022-02-22 | 2022-05-20 | 哈尔滨工程大学 | 一种基于图神经网络挖掘用户长短期兴趣的序列推荐方法 |
CN115878904A (zh) * | 2023-02-22 | 2023-03-31 | 深圳昊通技术有限公司 | 基于深度学习的知识产权个性化推荐方法、系统及介质 |
Non-Patent Citations (2)
Title |
---|
杨宝生;: "基于注意力机制增强图卷积神经网络的个性化新闻推荐", 兰州文理学院学报(自然科学版), no. 05, 10 September 2020 (2020-09-10), pages 57 - 62 * |
马鑫;吴云;鹿泽光;: "基于混合神经网络的协同过滤推荐模型", 应用科学学报, no. 03, 30 May 2020 (2020-05-30), pages 163 - 168 * |
Also Published As
Publication number | Publication date |
---|---|
CN116932893B (zh) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111177575B (zh) | 一种内容推荐方法、装置、电子设备和存储介质 | |
Zhang et al. | A cross-domain recommender system with kernel-induced knowledge transfer for overlapping entities | |
TWI702844B (zh) | 用戶特徵的生成方法、裝置、設備及儲存介質 | |
CN113626719B (zh) | 信息推荐方法、装置、设备、存储介质及计算机程序产品 | |
CN111931062B (zh) | 一种信息推荐模型的训练方法和相关装置 | |
US10824941B2 (en) | End-to-end deep collaborative filtering | |
CN110717098B (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
CN109062962B (zh) | 一种融合天气信息的门控循环神经网络兴趣点推荐方法 | |
Mongia et al. | Deep latent factor model for collaborative filtering | |
CN111723292B (zh) | 基于图神经网络的推荐方法、系统、电子设备及存储介质 | |
CN116010684A (zh) | 物品推荐方法、装置及存储介质 | |
CN114519145A (zh) | 一种基于图神经网络挖掘用户长短期兴趣的序列推荐方法 | |
CN111444419A (zh) | 资源推荐方法、装置、计算机设备和存储介质 | |
CN114528490A (zh) | 一种基于用户长短期兴趣的自监督序列推荐方法 | |
CN111178986A (zh) | 用户-商品偏好的预测方法及系统 | |
CN116010696A (zh) | 融合知识图谱和用户长短期兴趣的新闻推荐方法、系统及介质 | |
US20240037133A1 (en) | Method and apparatus for recommending cold start object, computer device, and storage medium | |
CN116932893B (zh) | 一种基于图卷积网络的序列推荐方法、系统、设备及介质 | |
CN114756768B (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
CN116975427A (zh) | 确定对象对资源信息的感兴趣程度的方法、装置和计算设备 | |
CN117033754A (zh) | 用于资源推送的模型处理方法、装置、设备、存储介质 | |
CN115409579A (zh) | 一种基于元学习的响应式推荐方法、系统及设备 | |
CN115080856A (zh) | 推荐方法及装置、推荐模型的训练方法及装置 | |
Batiuk et al. | Intelligent System for Socialization of Individual's with Shared Interests based on NLP, Machine Learning and SEO Technologies. | |
CN114357306A (zh) | 一种基于元关系的课程推荐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |