CN113807422A - 融合多特征信息的加权图卷积神经网络评分预测模型 - Google Patents
融合多特征信息的加权图卷积神经网络评分预测模型 Download PDFInfo
- Publication number
- CN113807422A CN113807422A CN202111042055.5A CN202111042055A CN113807422A CN 113807422 A CN113807422 A CN 113807422A CN 202111042055 A CN202111042055 A CN 202111042055A CN 113807422 A CN113807422 A CN 113807422A
- Authority
- CN
- China
- Prior art keywords
- user
- matrix
- project
- neural network
- weighted graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 154
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000013528 artificial neural network Methods 0.000 claims abstract description 45
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 230000003993 interaction Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 35
- 239000000126 substance Substances 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000010415 tropism Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 2
- 244000046052 Phaseolus vulgaris Species 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种融合多特征信息的加权图卷积神经网络评分预测模型,建立加权图卷积神经网络用户模型,输出用户潜在特征向量矩阵;建立加权图卷积神经网络用户模型,输出项目潜在特征向量矩阵;将用户潜在特征向量矩阵和项目潜在特征向量矩阵进行连接后输入到评分预测模型多层感知机中,将得到的预测评分与实际评分对比,通过优化函数对评分预测模型多层感知机进行优化,更新函数。本发明通过计算用户与用户、项目与项目之间的属性相似度来利用用户和项目的辅助信息,同时考虑了用户的兴趣变化对评分信息进行修正,增强了用户和项目的特征表示,解决现有的推荐模型仅利用用户项目的交互信息而忽略了用户和项目的自身属性特征的缺点。
Description
技术领域
本发明涉及一种融合多特征信息的加权图卷积神经网络评分预测模型,属于深度学习领域。
背景技术
近年来,随着云计算、大数据等IT技术高速发展,如今的互联网上的数据规模呈爆炸式增长。巨大的信息量中往往蕴含着丰富的使用价值和商业潜力,但同时也带来了互联网时代的“信息过载”问题。因此高效而准确的个性化推荐系统(Recommendation System,RS)也就应运而生,成为学术界和工业界上的关注热点。近年来,图神经网络(GNN,GraphNeural Network)的研究逐渐兴起,这是一种对图数据进行研究的神经网络。研究发现在推荐系统中,实体之间的关系如用户与用户、用户与项目和项目与项目都可以在图中表示出来。受图嵌入思想和卷积神经网络的启发,利用图卷积神经网络(GCN,GraphConvolutional Networks)在图领域对数据进行特征提取和表示已经成为GNN中的主要研究方法之一。目前,国内外对GCN在推荐领域中的研究已经取得了一定的进展,比如GC-MC和NGCF,这两种方法挖掘出了用户—项目二部图中蕴涵的连接关系,使用GCN直接在二部图中提取特征,但是都忽略了同质顶点相似性信息,丢弃了部分节点属性特征,即也忽视了用户与用户,项目与项目之间的实体关系。
有鉴于此,确有必要提出一种新的融合多特征信息的加权图卷积神经网络评分预测模型,以解决上述问题。
发明内容
本发明的目的在于提供一种融合多特征信息的加权图卷积神经网络评分预测模型,以解决现有图卷积神经网络忽略了同质顶点相似性信息,丢弃了部分节点属性特征的问题。
为实现上述目的,本发明提供了一种融合多特征信息的加权图卷积神经网络评分预测模型,包括以下步骤:
步骤1:建立用于提取用户特征的加权图卷积神经网络用户模型,所述加权图卷积神经网络用户模型输出用户潜在特征向量矩阵U;
步骤2:建立用于提取项目特征的加权图卷积神经网络项目模型,所述加权图卷积神经网络项目模型输出项目潜在特征向量矩阵V;
步骤3:将所述步骤1中的用户潜在特征向量矩阵U和所述步骤2中的项目潜在特征向量矩阵V进行连接,得到连接矩阵,将所述连接矩阵输入到评分预测模型中的多层感知机中,得到用户对项目的预测评分;
步骤4:将步骤3得到的预测评分与实际评分进行对比,通过优化函数对步骤3中的所述多层感知机的参数进行优化,以更新所述评分预测模型。
作为本发明的进一步改进,所述步骤1具体包括:
步骤11:获取用户对项目的历史评分数据,设m个用户对n个项目的评分矩阵为R,R∈Rm×n,评分取值为{1,2,…,I},I为最大评分数,所述评分矩阵R中行向量为每个用户对全部项目的评分,对用户未评分的项目以0填充;
步骤12:建立用于提取用户特征的加权图卷积神经网络用户模型;
步骤13:建立所述加权图卷积神经网络用户模型的用户特征矩阵Xu,并输入所述加权图卷积神经网络用户模型;
步骤14:建立用户相似度矩阵并作为用户邻接矩阵Au,并输入所述加权图卷积神经网络用户模型,所述用户邻接矩阵Au∈Rm×m;
步骤15:通过图卷积函数得到用户潜在特征向量矩阵U。
作为本发明的进一步改进,步骤13中所述用户特征矩阵Xu的构建具体步骤为:
步骤131:引入基于用户兴趣变化的时间加权函数:
其中,函数自变量t为用户对项目的当前评分时间和参考时间的时间间隔,参数Tmax为用户对项目最新评分时间和参考时间的时间间隔,参数Tmin为用户对项目最早评分时间和参考时间的时间间隔;
步骤132:利用用户对项目评分时间通过时间加权函数f(t)对所述评分矩阵R进行修正,实现评分按时间衰减以此反应用户的兴趣变化,修正公式:
r′ij=f(t)·rij
其中,f(t)表示用户i在t时刻对项目j的评分时间权重,rij表示用户i对项目j的初始评分,得到用户—项目修正评分矩阵R1;
步骤133:将步骤132中的用户—项目修正评分矩阵R1作为用户特征进行编码,生成的低维嵌入向量作为用户图卷积层的输入,采用的编码函数为:
作为本发明的进一步改进,步骤14中作为输入邻接矩阵的用户相似度矩阵Au的构建具体步骤为:在用户同质图中,用户节点ni和nj之间的连接边的权值由他们的相似度来确定且不考虑连边的有向性,已知节点ni和nj之间的相似度αij,从而可知邻接矩阵Au
其中
作为本发明的进一步改进,通过图卷积函数得到用户潜在特征向量矩阵U:
作为本发明的进一步改进,所述步骤2具体包括:
步骤21:建立用于提取项目特征的加权图卷积神经网络项目模型;
步骤23:建立项目相似度矩阵Av并输入所述加权图卷积神经网络项目模型,所述项目相似度矩阵Av∈Rn×n;
步骤24:通过图卷积函数得到项目潜在向量矩阵V:
作为本发明的进一步改进,将步骤132中的用户—项目修正评分矩阵R1转置后的转置矩阵RT作为项目特征进行编码,生成的低维嵌入向量作为项目图卷积层的输入,编码函数为:
作为本发明的进一步改进,步骤23中作为邻接矩阵的项目相似度矩阵Av的构建具体步骤为:在项目同质图中,项目节点mi和mj之间的连接边的权值由他们的相似度来确定且不考虑连边的有向性,已知项目节点mi和mj之间的相似度bij,从而可知邻接矩阵Av:
其中
作为本发明的进一步改进,所述步骤3具体包括:
g2=σ[W1·g1+b1]
……
gl=σ[Wl-1·gl-1+bl-1]
rui′=wT·gl
其中,l是加权图卷积神经网络的隐藏层数目,rui′为用户u对项目i的预测评分。
作为本发明的进一步改进,所述步骤4的优化函数具体为:
其中,Ο={(u,i)|(u,i)∈R+}为已有的用户项目交互集合的空间(已存在评分集),rui是用户对项目的实际评分,为了防止模型过拟合,使用L2正则化,其中Θ为模型参数,λ为惩罚强度。
本发明的有益效果是:本发明的融合多特征信息的加权图卷积神经网络评分预测模型通过计算用户与用户、项目与项目之间的属性相似度来利用用户和项目的辅助信息,同时考虑了用户的兴趣变化对对其评分预测模型进行修正,增强了用户和项目的特征表示,挖掘了同质图中节点相似性信息,发挥出图卷积神经网络提取节点深层嵌入表示的优势,解决了现有的基于图卷积神经网络的推荐模型仅利用用户项目的交互信息而忽略了用户和项目的自身属性特征的缺点。
附图说明
图1是本发明的步骤流程图。
图2是本发明的数据流程图。
图3是本发明加权图卷积神经网络用户模型的结构图。
图4是本发明加权图卷积神经网络项目模型的结构图。
图5是本发明模型图卷积层的数量在ML-100K数据集上的影响。
图6是本发明模型训练的Epoch(s)数量对评分预测效果的影响。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
如图1和图2所示,本发明揭示了一种融合多特征信息的加权图卷积神经网络评分预测模型,具体包括:
步骤1:建立用于提取用户特征的加权图卷积神经网络用户模型,加权图卷积神经网络用户模型输出用户潜在特征向量矩阵U;
步骤2:建立用于提取项目特征的加权图卷积神经网络项目模型,加权图卷积神经网络项目模型输出项目潜在特征向量矩阵V;
步骤3:将所述步骤1中的用户潜在特征向量矩阵U和所述步骤2中的项目潜在特征向量矩阵V进行连接,得到连接矩阵,将所述连接矩阵输入到评分预测模型中的多层感知机中,得到用户对项目的预测评分;
步骤4:将步骤3得到的预测评分与实际评分进行对比,通过优化函数对步骤3中的多层感知机的参数进行优化,以更新所述评分预测模型。
请参阅图3所示,步骤1具体包括:
步骤11:获取用户对项目的历史评分数据,设m个用户对n个项目的评分矩阵为R,R∈Rm×n,评分取值为{1,2,…,I},I为最大评分数,评分矩阵R中行向量为每个用户对全部项目的评分,对用户未评分的项目以0填充;
步骤12:建立用于提取用户特征的加权图卷积神经网络用户模型;
步骤13:建立加权图卷积神经网络用户模型的用户特征矩阵Xu,并输入加权图卷积神经网络用户模型;
步骤14:建立用户相似度矩阵并作为用户邻接矩阵Au,并输入加权图卷积神经网络用户模型,用户邻接矩阵Au∈Rm×m;
步骤15:通过图卷积函数得到用户潜在特征向量矩阵U。
步骤13中用户特征矩阵Xu的构建具体步骤为:
步骤131:在个性化推荐领域中,用户的兴趣变化是不可忽视的重要问题。具体表现为旧的兴趣在不断衰减,同时产生新的兴趣。因此引入基于用户兴趣变化的时间加权函数:
其中,函数自变量t为用户对项目的当前评分时间和参考时间的时间间隔,参数Tmax为用户对项目最新评分时间和参考时间的时间间隔,参数Tmin为用户对项目最早评分时间和参考时间的时间间隔,显然,t-Tmax<0<Tmax-Tmin,f(t)单调递增,其值域为[e-1,1]。
步骤132:利用用户对项目评分时间通过时间加权函数f(t)对评分矩阵R进行修正,实现评分按时间衰减以此反应用户的兴趣变化,修正方法:使用指数遗忘函数,赋予每个项目评分一个权重,对原始评分进行放缩。修正公式:
r′ij=f(t)·rij
其中,f(t)表示用户i在t时刻对项目j的评分时间权重,rij表示用户i对项目j的初始评分,得到用户—项目修正评分矩阵R1;
步骤133:将步骤132中的用户—项目修正评分矩阵R1作为用户特征进行编码,生成的低维嵌入向量作为用户图卷积层的输入,该方法可以将语义更丰富的实体特征编码后输入到图卷积层,更有利于准确地学习节点的嵌入表示。采用的编码函数为:
综上,用户特征矩阵Xu由用户评分时间戳修正后的用户—项目修正评分矩阵R1进行编码生成的低维嵌入构成。
步骤14中作为输入邻接矩阵的用户相似度矩阵Au的构建具体步骤为:在用户同质图中,用户节点ni和nj之间的连接边的权值由他们的相似度来确定且不考虑连边的有向性,用户相似度的计算依赖用户的辅助特征信息,包括用户年龄,性别,职业,地理位置等社交网络属性。通常采用的方法是计算属性特征间的“距离”,针对不同属性特点采用不同的计算距离公式,如欧氏距离,余弦距离等。这里假设已知节点ni和nj之间的相似度αij,从而可知邻接矩阵Au:
其中
最后步骤15通过图卷积函数将用户特征矩阵Xu和用户邻接矩阵Au输入加权图卷积神经网络用户模型,优选的,加权图卷积神经网络用户模型有2层隐藏层,得到中间矩阵Hu1和Hu2,将Hu2作为结果输出得到用户潜在特征向量矩阵U:
请参阅图4所示,步骤2具体包括:
步骤21:建立用于提取项目特征的加权图卷积神经网络项目模型;
步骤23:建立项目相似度矩阵Av并输入加权图卷积神经网络项目模型,项目相似度矩阵Av∈Rn×n;
步骤24:通过图卷积函数得到项目潜在向量矩阵V:
步骤22具体为:将步骤132中用户—项目修正评分矩阵R1转置后的转置矩阵RT作为项目特征进行编码,生成的低维嵌入向量作为项目图卷积层的输入,编码函数为:
步骤23中作为邻接矩阵的项目相似度矩阵Av的构建具体步骤为:在项目同质图中,项目节点mi和mj之间的连接边的权值由他们的相似度来确定且不考虑连边的有向性,项目相似度的计算依赖项目的属性特征,包括电影题目和题材等。事先对电影属性特征做了one-hot编码预处理,计算相似度采用余弦相似度计算公式。根据得到的项目节点mi和mj之间的相似度bij,从而可知邻接矩阵Av:
其中
最后步骤24通过图卷积函数将用户特征矩阵Xv和用户邻接矩阵Av输入加权图卷积神经网络项目模型,优选的,加权图卷积神经网络项目模型有2层隐藏层,得到中间矩阵Hv1和Hv2,将Hv2作为结果输出得到用户潜在特征向量矩阵V。
步骤3具体包括:
g2=σ[W1·g1+b1]
……
gl=σ[Wl-1·gl-1+bl-1]
rui′=wT·gl
其中,l是加权图卷积神经网络的隐藏层数目,rui′为用户u对项目i的预测评分。
步骤4的优化函数具体为:
其中,Ο={(u,i)|(u,i)∈R+}为已有的用户项目交互集合的空间(已存在评分集),rui是用户对项目的实际评分,为了防止模型过拟合,使用L2正则化,其中Θ为模型参数,λ为惩罚强度。采用小批量Adam对评分预测模型进行优化,更新评分预测模型参数。
具体地,本发明设计的推荐算法流程如下:
输入:评分矩阵R∈Rm×n,用户相似度矩阵Au∈Rm×m,项目相似度矩阵Av∈Rn×n,嵌入向量维度c
输出:用户和项目的嵌入向量:U∈Rm×c,V∈Rn×c
流程1.通过函数处理评分矩阵R∈Rm×n分别获得用户同质图与项目同质图的节点特征矩阵Xu∈Rm×d,Xv∈Rn×d;
流程2.fori=1:epochdo
同时执行用户同质图和项目同质图图卷积函数:
U=Conv(Au,Xu)
V=Conv(Av,Xv)
将得到的用户潜在特征向量矩阵U、项目潜在特征向量矩阵V连接后输入进行多层感知机评分预测
根据优化函数计算损失并反向传播梯度更新神经网络参数;
流程3:返回流程2;
流程4:End for。
具体地,为了验证本发明所提出的融合多特征信息的加权图卷积神经网络评分预测模型的性能,在MovieLens通用电影推荐系统数据集(ML-100K)上、文献提供的Flixster及豆瓣预处理数据子集上进行了实验,并将它与主流的推荐模型进行性能对比。数据集的基本信息见表1。在MovieLens电影推荐系统数据集中,电影辅助信息包含电影元数据(风格类型,年代)将其用one-hot编码转化成词向量;用户辅助信息包含用户的人口统计学数据(年龄,邮编,性别,职业等),将其转化成二进制信息。Flixster和豆瓣数据带有3000个用户和3000个物品子图,它们都用图的形式储存了用户或者物品的辅助信息。
将所有的数据按照8:2的比例进行划分,分别用作模型的训练集与测试集,并进行5折交叉验证。对于编码函数层,设置输出维度为256;对于图卷积层,输出特征维度为64。顶点特征dropout概率设为0.7,激活函数选用ReLU(),使用Adam优化器,学习率为0.001。多层感知机(MLP)模型层数为两层。
表1实验数据集统计
为了评估推荐模型评分预测性能,评价指标采用RMSE(Root Mean Squard Error)均方根误差作为评价标准。测试集中用户实际评分与通过模型预测出来的预测值之间的均方根误差值越小,则推荐系统的推送质量越高。
其中,n为测试样本数量,Rij和Rij′分别代表第i个样本的初始评分和预测评分。
实验中,选取4种对比方法同质交互类算法RGCNN,并选取矩阵补全MC、几何矩阵补全GMC、交替最小二乘几何矩阵补全GRALS等主流推荐模型算法作为参照。其中,GMC、GRALS和RGCNN通过k-最近邻图表示用户/项目特征。它们的评分预测误差如表2所示。
表2比较不同推荐模型的评分预测误差(RMSE)
根据表2所示,UIGCCF模型在三个数据集上的性能表现均优于其它模型,这证明了UIGCCF模型的有效性。并且在Flixster数据集上GCN类算法的效果显著优于矩阵补全类算法,这是因为Flixster数据集包含了更多的顶点信息,GCN可以更好的利用顶点相似性信息。在进行推荐时,相似用户更可能产生相近的行为,同时用户也更可能对相似项目产生兴趣。
为进一步分析UIGCCF模型取得优异性能的原因,我们给出它的变体模型,并比较它们在推荐数据集上的性能。与基本模型相比,UIGCCF-N去掉了用户模块中对评分矩阵的修正操作。表3汇总了消融实验的平均预测误差。
表3比较变体模型的评分预测误差(RMSE)
观察表3的实验结果,可以发现在去掉了去掉用户评分修正操作后的UIGCCF-N模型在数据集的测试误差相比于基本模型有一定程度增大,这表明对评分矩阵的修正操作对推荐算法在预测准确性上有较大提升。
图5是模型图卷积层的数量在ML-100K数据集上的影响,考虑到UIGCCF堆叠了多层图卷积层实现了节点的嵌入更新,通过设置不同图卷积层数量考察图卷积层数对预测结果误差情况,预测误差先是随着层数增加而降低,但超过第二层后误差又增大。这是因为图卷积会使同一连通分量内的节点的表征趋向于收敛到同一个值,于是堆叠过多的图卷积层容易产生过拟合问题。
图6是模型训练的Epoch(s)数量对评分预测效果的影响。为了分析模型训练Epoch数量对评分预测结果的影响,对于UIGCCF模型,在ML-100K数据集上设置了200轮Epoch数量进行实验。从图5可以看出,当模型训练20个Epoch时,训练集和测试集数据评分预测值与真实值偏差(RMSE)都比较大,此时的模型还无法学习到用户与电影的隐层特征,模型的预测效果较差。当模型训练到了第30个Epochs时,训练集和测试集数据RMSE快速下降,此时的模型已经初步完成用户以及电影特征的学习,但模型的预测效果一般。随着模型训练到第100个Epochs时,训练集和测试集数据RMSE在一定范围内波动,总体呈平稳下降趋势,此时的模型已经具有比较良好的评分预测效果。而随着Epoch(s)数量的进一步增加,模型最终会收敛,用户对电影评分预测效果会达到最优值。
综上所述,本发明的融合多特征信息的加权图卷积神经网络评分预测模型通过计算用户与用户、项目与项目之间的属性相似度来利用用户和项目的辅助信息,同时考虑了用户的兴趣变化对对其评分预测模型进行修正,从而增强了用户和项目的特征表示,实现挖掘同质图中节点相似性信息,发挥出图卷积神经网络提取节点深层嵌入表示的优势,解决了现有的基于图卷积神经网络的推荐模型仅利用用户项目的交互信息而忽略了用户和项目的自身属性特征的缺点。
以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于,包括以下步骤:
步骤1:建立用于提取用户特征的加权图卷积神经网络用户模型,所述加权图卷积神经网络用户模型输出用户潜在特征向量矩阵U;
步骤2:建立用于提取项目特征的加权图卷积神经网络项目模型,所述加权图卷积神经网络项目模型输出项目潜在特征向量矩阵V;
步骤3:将所述步骤1中的用户潜在特征向量矩阵U和所述步骤2中的项目潜在特征向量矩阵V进行连接,得到连接矩阵,将所述连接矩阵输入到评分预测模型中的多层感知机中,得到用户对项目的预测评分;
步骤4:将步骤3得到的预测评分与实际评分进行对比,通过优化函数对步骤3中的所述多层感知机的参数进行优化,以更新所述评分预测模型。
2.根据权利要求1所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:所述步骤1具体包括:
步骤11:获取用户对项目的历史评分数据,设m个用户对n个项目的评分矩阵为R,R∈Rm ×n,评分取值为{1,2,…,I},I为最大评分数,所述评分矩阵R中行向量为每个用户对全部项目的评分,对用户未评分的项目以0填充;
步骤12:建立用于提取用户特征的加权图卷积神经网络用户模型;
步骤13:建立所述加权图卷积神经网络用户模型的用户特征矩阵Xu,并输入所述加权图卷积神经网络用户模型;
步骤14:建立用户相似度矩阵并作为用户邻接矩阵Au,并输入所述加权图卷积神经网络用户模型,所述用户邻接矩阵Au∈Rm×m;
步骤15:通过图卷积函数得到用户潜在特征向量矩阵U。
3.根据权利要求2所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:步骤13中所述用户特征矩阵Xu的构建具体步骤为:
步骤131:引入基于用户兴趣变化的时间加权函数:
其中,函数自变量t为用户对项目的当前评分时间和参考时间的时间间隔,参数Tmax为用户对项目最新评分时间和参考时间的时间间隔,参数Tmin为用户对项目最早评分时间和参考时间的时间间隔;
步骤132:利用用户对项目评分时间通过时间加权函数f(t)对所述评分矩阵R进行修正,实现评分按时间衰减以此反应用户的兴趣变化,修正公式:
r′ij=f(t)·rij
其中,f(t)表示用户i在t时刻对项目j的评分时间权重,rij表示用户i对项目j的初始评分,得到用户—项目修正评分矩阵R1;
步骤133:将步骤132中的用户—项目修正评分矩阵R1作为用户特征进行编码,生成的低维嵌入向量作为用户图卷积层的输入,采用的编码函数为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111042055.5A CN113807422B (zh) | 2021-09-07 | 融合多特征信息的加权图卷积神经网络评分预测模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111042055.5A CN113807422B (zh) | 2021-09-07 | 融合多特征信息的加权图卷积神经网络评分预测模型 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113807422A true CN113807422A (zh) | 2021-12-17 |
CN113807422B CN113807422B (zh) | 2024-05-31 |
Family
ID=
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115098787A (zh) * | 2022-07-21 | 2022-09-23 | 西安电子科技大学 | 基于余弦排名损失和虚拟边图神经网络的物品推荐方法 |
CN115249539A (zh) * | 2022-01-27 | 2022-10-28 | 云南师范大学 | 一种多模态小样本抑郁症预测模型构建方法 |
CN115795177A (zh) * | 2022-11-25 | 2023-03-14 | 人民网股份有限公司 | 社交媒体内容推荐方法及装置 |
CN115905617A (zh) * | 2023-03-02 | 2023-04-04 | 南京邮电大学 | 一种基于深度神经网络与双正则化的视频评分预测方法 |
CN116628538A (zh) * | 2023-07-26 | 2023-08-22 | 之江实验室 | 基于图对齐神经网络的患者聚类方法、装置和计算机设备 |
CN117112915A (zh) * | 2023-10-24 | 2023-11-24 | 广州美术学院 | 基于用户特征及大数据训练的智能设计方法和系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740444A (zh) * | 2016-02-02 | 2016-07-06 | 桂林电子科技大学 | 基于用户评分的项目推荐方法 |
CN106777200A (zh) * | 2016-12-23 | 2017-05-31 | Tcl集团股份有限公司 | 项目推荐的方法及装置 |
CN108256093A (zh) * | 2018-01-29 | 2018-07-06 | 华南理工大学 | 一种基于用户多兴趣及兴趣变化的协同过滤推荐算法 |
CN108874914A (zh) * | 2018-05-29 | 2018-11-23 | 吉林大学 | 一种基于图卷积与神经协同过滤的信息推荐方法 |
CN110555161A (zh) * | 2018-05-30 | 2019-12-10 | 河南理工大学 | 一种基于用户信任和卷积神经网络的个性化推荐方法 |
CN111523051A (zh) * | 2020-04-24 | 2020-08-11 | 山东师范大学 | 基于图卷积矩阵分解的社交兴趣推荐方法及系统 |
CN112100486A (zh) * | 2020-08-21 | 2020-12-18 | 西安电子科技大学 | 一种基于图模型的深度学习推荐系统及其方法 |
CN112528165A (zh) * | 2020-12-16 | 2021-03-19 | 中国计量大学 | 一种基于动态路由图网络的会话社交推荐方法 |
CN112529415A (zh) * | 2020-12-11 | 2021-03-19 | 西安电子科技大学 | 基于组合多感受野图神经网络的物品评分方法 |
US20210110458A1 (en) * | 2019-10-09 | 2021-04-15 | Target Brands, Inc. | Faceted item recommendation system |
CN112860984A (zh) * | 2019-11-27 | 2021-05-28 | 中移(苏州)软件技术有限公司 | 一种推荐方法、装置及储存介质 |
CN112905900A (zh) * | 2021-04-02 | 2021-06-04 | 辽宁工程技术大学 | 基于图卷积注意力机制的协同过滤推荐算法 |
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740444A (zh) * | 2016-02-02 | 2016-07-06 | 桂林电子科技大学 | 基于用户评分的项目推荐方法 |
CN106777200A (zh) * | 2016-12-23 | 2017-05-31 | Tcl集团股份有限公司 | 项目推荐的方法及装置 |
CN108256093A (zh) * | 2018-01-29 | 2018-07-06 | 华南理工大学 | 一种基于用户多兴趣及兴趣变化的协同过滤推荐算法 |
CN108874914A (zh) * | 2018-05-29 | 2018-11-23 | 吉林大学 | 一种基于图卷积与神经协同过滤的信息推荐方法 |
CN110555161A (zh) * | 2018-05-30 | 2019-12-10 | 河南理工大学 | 一种基于用户信任和卷积神经网络的个性化推荐方法 |
US20210110458A1 (en) * | 2019-10-09 | 2021-04-15 | Target Brands, Inc. | Faceted item recommendation system |
CN112860984A (zh) * | 2019-11-27 | 2021-05-28 | 中移(苏州)软件技术有限公司 | 一种推荐方法、装置及储存介质 |
CN111523051A (zh) * | 2020-04-24 | 2020-08-11 | 山东师范大学 | 基于图卷积矩阵分解的社交兴趣推荐方法及系统 |
CN112100486A (zh) * | 2020-08-21 | 2020-12-18 | 西安电子科技大学 | 一种基于图模型的深度学习推荐系统及其方法 |
CN112529415A (zh) * | 2020-12-11 | 2021-03-19 | 西安电子科技大学 | 基于组合多感受野图神经网络的物品评分方法 |
CN112528165A (zh) * | 2020-12-16 | 2021-03-19 | 中国计量大学 | 一种基于动态路由图网络的会话社交推荐方法 |
CN112905900A (zh) * | 2021-04-02 | 2021-06-04 | 辽宁工程技术大学 | 基于图卷积注意力机制的协同过滤推荐算法 |
Non-Patent Citations (1)
Title |
---|
王睿: "基于图网络结构的推荐方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2019, pages 19 - 30 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115249539A (zh) * | 2022-01-27 | 2022-10-28 | 云南师范大学 | 一种多模态小样本抑郁症预测模型构建方法 |
CN115098787A (zh) * | 2022-07-21 | 2022-09-23 | 西安电子科技大学 | 基于余弦排名损失和虚拟边图神经网络的物品推荐方法 |
CN115098787B (zh) * | 2022-07-21 | 2024-04-19 | 西安电子科技大学 | 基于余弦排名损失和虚拟边图神经网络的物品推荐方法 |
CN115795177A (zh) * | 2022-11-25 | 2023-03-14 | 人民网股份有限公司 | 社交媒体内容推荐方法及装置 |
CN115795177B (zh) * | 2022-11-25 | 2023-04-28 | 人民网股份有限公司 | 社交媒体内容推荐方法及装置 |
CN115905617A (zh) * | 2023-03-02 | 2023-04-04 | 南京邮电大学 | 一种基于深度神经网络与双正则化的视频评分预测方法 |
CN116628538A (zh) * | 2023-07-26 | 2023-08-22 | 之江实验室 | 基于图对齐神经网络的患者聚类方法、装置和计算机设备 |
CN117112915A (zh) * | 2023-10-24 | 2023-11-24 | 广州美术学院 | 基于用户特征及大数据训练的智能设计方法和系统 |
CN117112915B (zh) * | 2023-10-24 | 2024-02-20 | 广州美术学院 | 基于用户特征及大数据训练的智能设计方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111523047B (zh) | 基于图神经网络的多关系协同过滤算法 | |
CN106021364B (zh) | 图片搜索相关性预测模型的建立、图片搜索方法和装置 | |
CN109389151B (zh) | 一种基于半监督嵌入表示模型的知识图谱处理方法和装置 | |
CN112417306B (zh) | 基于知识图谱的推荐算法性能优化的方法 | |
CN113326731A (zh) | 一种基于动量网络指导的跨域行人重识别算法 | |
CN111651558A (zh) | 基于预训练语义模型的超球面协同度量推荐装置和方法 | |
CN109033294B (zh) | 一种融入内容信息的混合推荐方法 | |
US20230185865A1 (en) | Personalized comment recommendation method based on link prediction model of graph bidirectional aggregation network | |
CN114332519A (zh) | 一种基于外部三元组和抽象关系的图像描述生成方法 | |
CN112085158A (zh) | 一种基于堆栈降噪自编码器的图书推荐方法 | |
CN113342994B (zh) | 一种基于无采样协作知识图网络的推荐系统 | |
WO2020147259A1 (zh) | 一种用户画像方法、装置、可读存储介质及终端设备 | |
CN116662601A (zh) | 一种基于图神经网络和知识图谱的歌曲推荐方法 | |
CN115840853A (zh) | 一种基于知识图谱和图注意力网络的课程推荐系统 | |
CN113807422A (zh) | 融合多特征信息的加权图卷积神经网络评分预测模型 | |
CN113807422B (zh) | 融合多特征信息的加权图卷积神经网络评分预测模型 | |
CN114564594A (zh) | 一种基于双塔模型的知识图谱用户偏好实体召回方法 | |
CN111460318B (zh) | 基于显性和隐性信任的协同过滤推荐方法 | |
CN114819152A (zh) | 一种基于强化学习增强的图嵌入专家实体对齐方法 | |
CN114637846A (zh) | 视频数据处理方法、装置、计算机设备和存储介质 | |
CN114329222A (zh) | 一种融合注意力机制和双端知识图谱的电影推荐方法 | |
CN117743694B (zh) | 基于图节点特征增强的多层迁移学习跨域推荐方法及系统 | |
Zuo et al. | A tag-aware recommendation algorithm based on deep learning and multi-objective optimization | |
CN117788122B (zh) | 一种基于异质图神经网络商品推荐方法 | |
Hawthorne et al. | Graph Neural Network Enhancing Recommendation System based on Social Relationship and Attention Mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |