CN113807422A - 融合多特征信息的加权图卷积神经网络评分预测模型 - Google Patents

融合多特征信息的加权图卷积神经网络评分预测模型 Download PDF

Info

Publication number
CN113807422A
CN113807422A CN202111042055.5A CN202111042055A CN113807422A CN 113807422 A CN113807422 A CN 113807422A CN 202111042055 A CN202111042055 A CN 202111042055A CN 113807422 A CN113807422 A CN 113807422A
Authority
CN
China
Prior art keywords
user
matrix
project
neural network
weighted graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111042055.5A
Other languages
English (en)
Other versions
CN113807422B (zh
Inventor
宋玉蓉
史宇涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202111042055.5A priority Critical patent/CN113807422B/zh
Priority claimed from CN202111042055.5A external-priority patent/CN113807422B/zh
Publication of CN113807422A publication Critical patent/CN113807422A/zh
Application granted granted Critical
Publication of CN113807422B publication Critical patent/CN113807422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种融合多特征信息的加权图卷积神经网络评分预测模型,建立加权图卷积神经网络用户模型,输出用户潜在特征向量矩阵;建立加权图卷积神经网络用户模型,输出项目潜在特征向量矩阵;将用户潜在特征向量矩阵和项目潜在特征向量矩阵进行连接后输入到评分预测模型多层感知机中,将得到的预测评分与实际评分对比,通过优化函数对评分预测模型多层感知机进行优化,更新函数。本发明通过计算用户与用户、项目与项目之间的属性相似度来利用用户和项目的辅助信息,同时考虑了用户的兴趣变化对评分信息进行修正,增强了用户和项目的特征表示,解决现有的推荐模型仅利用用户项目的交互信息而忽略了用户和项目的自身属性特征的缺点。

Description

融合多特征信息的加权图卷积神经网络评分预测模型
技术领域
本发明涉及一种融合多特征信息的加权图卷积神经网络评分预测模型,属于深度学习领域。
背景技术
近年来,随着云计算、大数据等IT技术高速发展,如今的互联网上的数据规模呈爆炸式增长。巨大的信息量中往往蕴含着丰富的使用价值和商业潜力,但同时也带来了互联网时代的“信息过载”问题。因此高效而准确的个性化推荐系统(Recommendation System,RS)也就应运而生,成为学术界和工业界上的关注热点。近年来,图神经网络(GNN,GraphNeural Network)的研究逐渐兴起,这是一种对图数据进行研究的神经网络。研究发现在推荐系统中,实体之间的关系如用户与用户、用户与项目和项目与项目都可以在图中表示出来。受图嵌入思想和卷积神经网络的启发,利用图卷积神经网络(GCN,GraphConvolutional Networks)在图领域对数据进行特征提取和表示已经成为GNN中的主要研究方法之一。目前,国内外对GCN在推荐领域中的研究已经取得了一定的进展,比如GC-MC和NGCF,这两种方法挖掘出了用户—项目二部图中蕴涵的连接关系,使用GCN直接在二部图中提取特征,但是都忽略了同质顶点相似性信息,丢弃了部分节点属性特征,即也忽视了用户与用户,项目与项目之间的实体关系。
有鉴于此,确有必要提出一种新的融合多特征信息的加权图卷积神经网络评分预测模型,以解决上述问题。
发明内容
本发明的目的在于提供一种融合多特征信息的加权图卷积神经网络评分预测模型,以解决现有图卷积神经网络忽略了同质顶点相似性信息,丢弃了部分节点属性特征的问题。
为实现上述目的,本发明提供了一种融合多特征信息的加权图卷积神经网络评分预测模型,包括以下步骤:
步骤1:建立用于提取用户特征的加权图卷积神经网络用户模型,所述加权图卷积神经网络用户模型输出用户潜在特征向量矩阵U;
步骤2:建立用于提取项目特征的加权图卷积神经网络项目模型,所述加权图卷积神经网络项目模型输出项目潜在特征向量矩阵V;
步骤3:将所述步骤1中的用户潜在特征向量矩阵U和所述步骤2中的项目潜在特征向量矩阵V进行连接,得到连接矩阵,将所述连接矩阵输入到评分预测模型中的多层感知机中,得到用户对项目的预测评分;
步骤4:将步骤3得到的预测评分与实际评分进行对比,通过优化函数对步骤3中的所述多层感知机的参数进行优化,以更新所述评分预测模型。
作为本发明的进一步改进,所述步骤1具体包括:
步骤11:获取用户对项目的历史评分数据,设m个用户对n个项目的评分矩阵为R,R∈Rm×n,评分取值为{1,2,…,I},I为最大评分数,所述评分矩阵R中行向量为每个用户对全部项目的评分,对用户未评分的项目以0填充;
步骤12:建立用于提取用户特征的加权图卷积神经网络用户模型;
步骤13:建立所述加权图卷积神经网络用户模型的用户特征矩阵Xu,并输入所述加权图卷积神经网络用户模型;
步骤14:建立用户相似度矩阵并作为用户邻接矩阵Au,并输入所述加权图卷积神经网络用户模型,所述用户邻接矩阵Au∈Rm×m
步骤15:通过图卷积函数得到用户潜在特征向量矩阵U。
作为本发明的进一步改进,步骤13中所述用户特征矩阵Xu的构建具体步骤为:
步骤131:引入基于用户兴趣变化的时间加权函数:
Figure BDA0003249677000000031
其中,函数自变量t为用户对项目的当前评分时间和参考时间的时间间隔,参数Tmax为用户对项目最新评分时间和参考时间的时间间隔,参数Tmin为用户对项目最早评分时间和参考时间的时间间隔;
步骤132:利用用户对项目评分时间通过时间加权函数f(t)对所述评分矩阵R进行修正,实现评分按时间衰减以此反应用户的兴趣变化,修正公式:
r′ij=f(t)·rij
其中,f(t)表示用户i在t时刻对项目j的评分时间权重,rij表示用户i对项目j的初始评分,得到用户—项目修正评分矩阵R1
步骤133:将步骤132中的用户—项目修正评分矩阵R1作为用户特征进行编码,生成的低维嵌入向量作为用户图卷积层的输入,采用的编码函数为:
Figure BDA0003249677000000032
其中,
Figure BDA0003249677000000033
是待学习的用户编码矩阵,得到用户特征矩阵Xu
作为本发明的进一步改进,步骤14中作为输入邻接矩阵的用户相似度矩阵Au的构建具体步骤为:在用户同质图中,用户节点ni和nj之间的连接边的权值由他们的相似度来确定且不考虑连边的有向性,已知节点ni和nj之间的相似度αij,从而可知邻接矩阵Au
Figure BDA0003249677000000034
其中
Figure BDA0003249677000000035
作为本发明的进一步改进,通过图卷积函数得到用户潜在特征向量矩阵U:
Figure BDA0003249677000000036
其中,
Figure BDA0003249677000000041
是加权图卷积神经网络用户模型的标准化对称邻接矩阵,
Figure BDA0003249677000000042
Figure BDA0003249677000000043
W0、W1是参数矩阵。
作为本发明的进一步改进,所述步骤2具体包括:
步骤21:建立用于提取项目特征的加权图卷积神经网络项目模型;
步骤22:建立加权图卷积神经网络项目模型的项目节点特征矩阵Xv,并输入所述加权图卷积神经网络项目模型,其中项目节点特征矩阵Xv的行向量为项目同质图中的节点特征向量
Figure BDA0003249677000000044
步骤23:建立项目相似度矩阵Av并输入所述加权图卷积神经网络项目模型,所述项目相似度矩阵Av∈Rn×n
步骤24:通过图卷积函数得到项目潜在向量矩阵V:
Figure BDA0003249677000000045
其中,
Figure BDA0003249677000000046
W2、W3是参数矩阵。
作为本发明的进一步改进,将步骤132中的用户—项目修正评分矩阵R1转置后的转置矩阵RT作为项目特征进行编码,生成的低维嵌入向量作为项目图卷积层的输入,编码函数为:
Figure BDA0003249677000000047
其中,
Figure BDA0003249677000000048
是待学习的项目编码矩阵,Xv是项目节点特征矩阵。
作为本发明的进一步改进,步骤23中作为邻接矩阵的项目相似度矩阵Av的构建具体步骤为:在项目同质图中,项目节点mi和mj之间的连接边的权值由他们的相似度来确定且不考虑连边的有向性,已知项目节点mi和mj之间的相似度bij,从而可知邻接矩阵Av
Figure BDA0003249677000000049
其中
Figure BDA0003249677000000051
作为本发明的进一步改进,所述步骤3具体包括:
步骤31:将步骤2中所述用户潜在特征向量矩阵U中的用户潜在特征向量u和步骤3中所述项目潜在特征向量矩阵V中的项目潜在特征向量v进行连接操作,得到连接矩阵
Figure BDA0003249677000000052
步骤32:把步骤31获得的连接矩阵
Figure BDA0003249677000000053
输入到评分预测模型中的多层感知机MLP中:
Figure BDA0003249677000000054
g2=σ[W1·g1+b1]
……
gl=σ[Wl-1·gl-1+bl-1]
rui′=wT·gl
其中,l是加权图卷积神经网络的隐藏层数目,rui′为用户u对项目i的预测评分。
作为本发明的进一步改进,所述步骤4的优化函数具体为:
Figure BDA0003249677000000055
其中,Ο={(u,i)|(u,i)∈R+}为已有的用户项目交互集合的空间(已存在评分集),rui是用户对项目的实际评分,为了防止模型过拟合,使用L2正则化,其中Θ为模型参数,λ为惩罚强度。
本发明的有益效果是:本发明的融合多特征信息的加权图卷积神经网络评分预测模型通过计算用户与用户、项目与项目之间的属性相似度来利用用户和项目的辅助信息,同时考虑了用户的兴趣变化对对其评分预测模型进行修正,增强了用户和项目的特征表示,挖掘了同质图中节点相似性信息,发挥出图卷积神经网络提取节点深层嵌入表示的优势,解决了现有的基于图卷积神经网络的推荐模型仅利用用户项目的交互信息而忽略了用户和项目的自身属性特征的缺点。
附图说明
图1是本发明的步骤流程图。
图2是本发明的数据流程图。
图3是本发明加权图卷积神经网络用户模型的结构图。
图4是本发明加权图卷积神经网络项目模型的结构图。
图5是本发明模型图卷积层的数量在ML-100K数据集上的影响。
图6是本发明模型训练的Epoch(s)数量对评分预测效果的影响。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
如图1和图2所示,本发明揭示了一种融合多特征信息的加权图卷积神经网络评分预测模型,具体包括:
步骤1:建立用于提取用户特征的加权图卷积神经网络用户模型,加权图卷积神经网络用户模型输出用户潜在特征向量矩阵U;
步骤2:建立用于提取项目特征的加权图卷积神经网络项目模型,加权图卷积神经网络项目模型输出项目潜在特征向量矩阵V;
步骤3:将所述步骤1中的用户潜在特征向量矩阵U和所述步骤2中的项目潜在特征向量矩阵V进行连接,得到连接矩阵,将所述连接矩阵输入到评分预测模型中的多层感知机中,得到用户对项目的预测评分;
步骤4:将步骤3得到的预测评分与实际评分进行对比,通过优化函数对步骤3中的多层感知机的参数进行优化,以更新所述评分预测模型。
请参阅图3所示,步骤1具体包括:
步骤11:获取用户对项目的历史评分数据,设m个用户对n个项目的评分矩阵为R,R∈Rm×n,评分取值为{1,2,…,I},I为最大评分数,评分矩阵R中行向量为每个用户对全部项目的评分,对用户未评分的项目以0填充;
步骤12:建立用于提取用户特征的加权图卷积神经网络用户模型;
步骤13:建立加权图卷积神经网络用户模型的用户特征矩阵Xu,并输入加权图卷积神经网络用户模型;
步骤14:建立用户相似度矩阵并作为用户邻接矩阵Au,并输入加权图卷积神经网络用户模型,用户邻接矩阵Au∈Rm×m
步骤15:通过图卷积函数得到用户潜在特征向量矩阵U。
步骤13中用户特征矩阵Xu的构建具体步骤为:
步骤131:在个性化推荐领域中,用户的兴趣变化是不可忽视的重要问题。具体表现为旧的兴趣在不断衰减,同时产生新的兴趣。因此引入基于用户兴趣变化的时间加权函数:
Figure BDA0003249677000000071
其中,函数自变量t为用户对项目的当前评分时间和参考时间的时间间隔,参数Tmax为用户对项目最新评分时间和参考时间的时间间隔,参数Tmin为用户对项目最早评分时间和参考时间的时间间隔,显然,t-Tmax<0<Tmax-Tmin,f(t)单调递增,其值域为[e-1,1]。
步骤132:利用用户对项目评分时间通过时间加权函数f(t)对评分矩阵R进行修正,实现评分按时间衰减以此反应用户的兴趣变化,修正方法:使用指数遗忘函数,赋予每个项目评分一个权重,对原始评分进行放缩。修正公式:
r′ij=f(t)·rij
其中,f(t)表示用户i在t时刻对项目j的评分时间权重,rij表示用户i对项目j的初始评分,得到用户—项目修正评分矩阵R1
步骤133:将步骤132中的用户—项目修正评分矩阵R1作为用户特征进行编码,生成的低维嵌入向量作为用户图卷积层的输入,该方法可以将语义更丰富的实体特征编码后输入到图卷积层,更有利于准确地学习节点的嵌入表示。采用的编码函数为:
Figure BDA0003249677000000081
其中,
Figure BDA0003249677000000082
是待学习的用户编码矩阵,得到用户特征矩阵Xu
综上,用户特征矩阵Xu由用户评分时间戳修正后的用户—项目修正评分矩阵R1进行编码生成的低维嵌入构成。
步骤14中作为输入邻接矩阵的用户相似度矩阵Au的构建具体步骤为:在用户同质图中,用户节点ni和nj之间的连接边的权值由他们的相似度来确定且不考虑连边的有向性,用户相似度的计算依赖用户的辅助特征信息,包括用户年龄,性别,职业,地理位置等社交网络属性。通常采用的方法是计算属性特征间的“距离”,针对不同属性特点采用不同的计算距离公式,如欧氏距离,余弦距离等。这里假设已知节点ni和nj之间的相似度αij,从而可知邻接矩阵Au
Figure BDA0003249677000000083
其中
Figure BDA0003249677000000084
最后步骤15通过图卷积函数将用户特征矩阵Xu和用户邻接矩阵Au输入加权图卷积神经网络用户模型,优选的,加权图卷积神经网络用户模型有2层隐藏层,得到中间矩阵Hu1和Hu2,将Hu2作为结果输出得到用户潜在特征向量矩阵U:
Figure BDA0003249677000000085
其中,
Figure BDA0003249677000000086
是加权图卷积神经网络用户模型的标准化对称邻接矩阵,
Figure BDA0003249677000000087
Figure BDA0003249677000000088
即拓扑图加上自环,W0、W1是参数矩阵。
请参阅图4所示,步骤2具体包括:
步骤21:建立用于提取项目特征的加权图卷积神经网络项目模型;
步骤22:建立加权图卷积神经网络项目模型的项目节点特征矩阵Xv,并输入加权图卷积神经网络项目模型,其中项目节点特征矩阵Xv的行向量为项目同质图中的节点特征向量
Figure BDA0003249677000000091
步骤23:建立项目相似度矩阵Av并输入加权图卷积神经网络项目模型,项目相似度矩阵Av∈Rn×n
步骤24:通过图卷积函数得到项目潜在向量矩阵V:
Figure BDA0003249677000000092
其中,
Figure BDA0003249677000000093
W2、W3是参数矩阵。
步骤22具体为:将步骤132中用户—项目修正评分矩阵R1转置后的转置矩阵RT作为项目特征进行编码,生成的低维嵌入向量作为项目图卷积层的输入,编码函数为:
Figure BDA0003249677000000094
其中,
Figure BDA0003249677000000095
是待学习的项目编码矩阵,Xv是项目节点特征矩阵。
步骤23中作为邻接矩阵的项目相似度矩阵Av的构建具体步骤为:在项目同质图中,项目节点mi和mj之间的连接边的权值由他们的相似度来确定且不考虑连边的有向性,项目相似度的计算依赖项目的属性特征,包括电影题目和题材等。事先对电影属性特征做了one-hot编码预处理,计算相似度采用余弦相似度计算公式。根据得到的项目节点mi和mj之间的相似度bij,从而可知邻接矩阵Av
Figure BDA0003249677000000096
其中
Figure BDA0003249677000000097
最后步骤24通过图卷积函数将用户特征矩阵Xv和用户邻接矩阵Av输入加权图卷积神经网络项目模型,优选的,加权图卷积神经网络项目模型有2层隐藏层,得到中间矩阵Hv1和Hv2,将Hv2作为结果输出得到用户潜在特征向量矩阵V。
步骤3具体包括:
步骤31:将步骤2中用户潜在特征向量矩阵U中的用户潜在特征向量u和步骤3中项目潜在向量矩阵V的项目潜在特征向量v进行连接操作,得到连接矩阵
Figure BDA0003249677000000101
步骤32:把步骤31得到的连接矩阵
Figure BDA0003249677000000102
输入到评分预测模型中的多层感知机MLP中:
Figure BDA0003249677000000103
g2=σ[W1·g1+b1]
……
gl=σ[Wl-1·gl-1+bl-1]
rui′=wT·gl
其中,l是加权图卷积神经网络的隐藏层数目,rui′为用户u对项目i的预测评分。
步骤4的优化函数具体为:
Figure BDA0003249677000000104
其中,Ο={(u,i)|(u,i)∈R+}为已有的用户项目交互集合的空间(已存在评分集),rui是用户对项目的实际评分,为了防止模型过拟合,使用L2正则化,其中Θ为模型参数,λ为惩罚强度。采用小批量Adam对评分预测模型进行优化,更新评分预测模型参数。
具体地,本发明设计的推荐算法流程如下:
输入:评分矩阵R∈Rm×n,用户相似度矩阵Au∈Rm×m,项目相似度矩阵Av∈Rn×n,嵌入向量维度c
输出:用户和项目的嵌入向量:U∈Rm×c,V∈Rn×c
流程1.通过函数处理评分矩阵R∈Rm×n分别获得用户同质图与项目同质图的节点特征矩阵Xu∈Rm×d,Xv∈Rn×d
流程2.fori=1:epochdo
同时执行用户同质图和项目同质图图卷积函数:
U=Conv(Au,Xu)
V=Conv(Av,Xv)
将得到的用户潜在特征向量矩阵U、项目潜在特征向量矩阵V连接后输入进行多层感知机评分预测
根据优化函数计算损失并反向传播梯度更新神经网络参数;
流程3:返回流程2;
流程4:End for。
具体地,为了验证本发明所提出的融合多特征信息的加权图卷积神经网络评分预测模型的性能,在MovieLens通用电影推荐系统数据集(ML-100K)上、文献提供的Flixster及豆瓣预处理数据子集上进行了实验,并将它与主流的推荐模型进行性能对比。数据集的基本信息见表1。在MovieLens电影推荐系统数据集中,电影辅助信息包含电影元数据(风格类型,年代)将其用one-hot编码转化成词向量;用户辅助信息包含用户的人口统计学数据(年龄,邮编,性别,职业等),将其转化成二进制信息。Flixster和豆瓣数据带有3000个用户和3000个物品子图,它们都用图的形式储存了用户或者物品的辅助信息。
将所有的数据按照8:2的比例进行划分,分别用作模型的训练集与测试集,并进行5折交叉验证。对于编码函数层,设置输出维度为256;对于图卷积层,输出特征维度为64。顶点特征dropout概率设为0.7,激活函数选用ReLU(),使用Adam优化器,学习率为0.001。多层感知机(MLP)模型层数为两层。
表1实验数据集统计
Figure BDA0003249677000000121
为了评估推荐模型评分预测性能,评价指标采用RMSE(Root Mean Squard Error)均方根误差作为评价标准。测试集中用户实际评分与通过模型预测出来的预测值之间的均方根误差值越小,则推荐系统的推送质量越高。
Figure BDA0003249677000000122
其中,n为测试样本数量,Rij和Rij′分别代表第i个样本的初始评分和预测评分。
实验中,选取4种对比方法同质交互类算法RGCNN,并选取矩阵补全MC、几何矩阵补全GMC、交替最小二乘几何矩阵补全GRALS等主流推荐模型算法作为参照。其中,GMC、GRALS和RGCNN通过k-最近邻图表示用户/项目特征。它们的评分预测误差如表2所示。
表2比较不同推荐模型的评分预测误差(RMSE)
Figure BDA0003249677000000123
根据表2所示,UIGCCF模型在三个数据集上的性能表现均优于其它模型,这证明了UIGCCF模型的有效性。并且在Flixster数据集上GCN类算法的效果显著优于矩阵补全类算法,这是因为Flixster数据集包含了更多的顶点信息,GCN可以更好的利用顶点相似性信息。在进行推荐时,相似用户更可能产生相近的行为,同时用户也更可能对相似项目产生兴趣。
为进一步分析UIGCCF模型取得优异性能的原因,我们给出它的变体模型,并比较它们在推荐数据集上的性能。与基本模型相比,UIGCCF-N去掉了用户模块中对评分矩阵的修正操作。表3汇总了消融实验的平均预测误差。
表3比较变体模型的评分预测误差(RMSE)
Figure BDA0003249677000000131
观察表3的实验结果,可以发现在去掉了去掉用户评分修正操作后的UIGCCF-N模型在数据集的测试误差相比于基本模型有一定程度增大,这表明对评分矩阵的修正操作对推荐算法在预测准确性上有较大提升。
图5是模型图卷积层的数量在ML-100K数据集上的影响,考虑到UIGCCF堆叠了多层图卷积层实现了节点的嵌入更新,通过设置不同图卷积层数量考察图卷积层数对预测结果误差情况,预测误差先是随着层数增加而降低,但超过第二层后误差又增大。这是因为图卷积会使同一连通分量内的节点的表征趋向于收敛到同一个值,于是堆叠过多的图卷积层容易产生过拟合问题。
图6是模型训练的Epoch(s)数量对评分预测效果的影响。为了分析模型训练Epoch数量对评分预测结果的影响,对于UIGCCF模型,在ML-100K数据集上设置了200轮Epoch数量进行实验。从图5可以看出,当模型训练20个Epoch时,训练集和测试集数据评分预测值与真实值偏差(RMSE)都比较大,此时的模型还无法学习到用户与电影的隐层特征,模型的预测效果较差。当模型训练到了第30个Epochs时,训练集和测试集数据RMSE快速下降,此时的模型已经初步完成用户以及电影特征的学习,但模型的预测效果一般。随着模型训练到第100个Epochs时,训练集和测试集数据RMSE在一定范围内波动,总体呈平稳下降趋势,此时的模型已经具有比较良好的评分预测效果。而随着Epoch(s)数量的进一步增加,模型最终会收敛,用户对电影评分预测效果会达到最优值。
综上所述,本发明的融合多特征信息的加权图卷积神经网络评分预测模型通过计算用户与用户、项目与项目之间的属性相似度来利用用户和项目的辅助信息,同时考虑了用户的兴趣变化对对其评分预测模型进行修正,从而增强了用户和项目的特征表示,实现挖掘同质图中节点相似性信息,发挥出图卷积神经网络提取节点深层嵌入表示的优势,解决了现有的基于图卷积神经网络的推荐模型仅利用用户项目的交互信息而忽略了用户和项目的自身属性特征的缺点。
以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于,包括以下步骤:
步骤1:建立用于提取用户特征的加权图卷积神经网络用户模型,所述加权图卷积神经网络用户模型输出用户潜在特征向量矩阵U;
步骤2:建立用于提取项目特征的加权图卷积神经网络项目模型,所述加权图卷积神经网络项目模型输出项目潜在特征向量矩阵V;
步骤3:将所述步骤1中的用户潜在特征向量矩阵U和所述步骤2中的项目潜在特征向量矩阵V进行连接,得到连接矩阵,将所述连接矩阵输入到评分预测模型中的多层感知机中,得到用户对项目的预测评分;
步骤4:将步骤3得到的预测评分与实际评分进行对比,通过优化函数对步骤3中的所述多层感知机的参数进行优化,以更新所述评分预测模型。
2.根据权利要求1所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:所述步骤1具体包括:
步骤11:获取用户对项目的历史评分数据,设m个用户对n个项目的评分矩阵为R,R∈Rm ×n,评分取值为{1,2,…,I},I为最大评分数,所述评分矩阵R中行向量为每个用户对全部项目的评分,对用户未评分的项目以0填充;
步骤12:建立用于提取用户特征的加权图卷积神经网络用户模型;
步骤13:建立所述加权图卷积神经网络用户模型的用户特征矩阵Xu,并输入所述加权图卷积神经网络用户模型;
步骤14:建立用户相似度矩阵并作为用户邻接矩阵Au,并输入所述加权图卷积神经网络用户模型,所述用户邻接矩阵Au∈Rm×m
步骤15:通过图卷积函数得到用户潜在特征向量矩阵U。
3.根据权利要求2所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:步骤13中所述用户特征矩阵Xu的构建具体步骤为:
步骤131:引入基于用户兴趣变化的时间加权函数:
Figure FDA0003249676990000021
其中,函数自变量t为用户对项目的当前评分时间和参考时间的时间间隔,参数Tmax为用户对项目最新评分时间和参考时间的时间间隔,参数Tmin为用户对项目最早评分时间和参考时间的时间间隔;
步骤132:利用用户对项目评分时间通过时间加权函数f(t)对所述评分矩阵R进行修正,实现评分按时间衰减以此反应用户的兴趣变化,修正公式:
r′ij=f(t)·rij
其中,f(t)表示用户i在t时刻对项目j的评分时间权重,rij表示用户i对项目j的初始评分,得到用户—项目修正评分矩阵R1
步骤133:将步骤132中的用户—项目修正评分矩阵R1作为用户特征进行编码,生成的低维嵌入向量作为用户图卷积层的输入,采用的编码函数为:
Figure FDA0003249676990000022
其中,
Figure FDA0003249676990000023
是待学习的用户编码矩阵,得到用户特征矩阵Xu
4.根据权利要求2所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:步骤14中作为输入邻接矩阵的用户相似度矩阵Au的构建具体步骤为:在用户同质图中,用户节点ni和nj之间的连接边的权值由他们的相似度来确定且不考虑连边的有向性,已知节点ni和nj之间的相似度αij,从而可知邻接矩阵Au
Figure FDA0003249676990000024
其中
Figure FDA0003249676990000025
5.根据权利要求4所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:通过图卷积函数得到所述用户潜在特征向量矩阵U:
Figure FDA0003249676990000031
其中,
Figure FDA0003249676990000032
是加权图卷积神经网络用户模型的标准化对称邻接矩阵,
Figure FDA0003249676990000033
Figure FDA0003249676990000034
W0、W1是参数矩阵。
6.根据权利要求3所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:所述步骤2具体包括:
步骤21:建立用于提取项目特征的加权图卷积神经网络项目模型;
步骤22:建立所述加权图卷积神经网络项目模型的项目节点特征矩阵Xv,并输入所述加权图卷积神经网络项目模型,其中项目节点特征矩阵Xv的行向量为项目同质图中的节点特征向量
Figure FDA0003249676990000035
步骤23:建立项目相似度矩阵Av并输入所述加权图卷积神经网络项目模型,所述项目相似度矩阵Av∈Rn×n
步骤24:通过图卷积函数得到项目潜在特征向量矩阵V:
Figure FDA0003249676990000036
其中,
Figure FDA0003249676990000037
W2、W3是参数矩阵。
7.根据权利要求6所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:将步骤132中的用户—项目修正评分矩阵R1转置后的转置矩阵RT作为项目特征进行编码,生成的低维嵌入向量作为项目图卷积层的输入,编码函数为:
Figure FDA0003249676990000038
其中,
Figure FDA0003249676990000039
是待学习的项目编码矩阵,Xv是项目节点特征矩阵。
8.根据权利要求7所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:步骤23中作为邻接矩阵的项目相似度矩阵Av的构建具体步骤为:在项目同质图中,项目节点mi和mj之间的连接边的权值由他们的相似度来确定且不考虑连边的有向性,已知项目节点mi和mj之间的相似度bij,从而可知邻接矩阵Av
Figure FDA0003249676990000041
其中
Figure FDA0003249676990000042
9.根据权利要求1所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:所述步骤3具体包括:
步骤31:将步骤2中所述用户潜在特征向量矩阵U中的用户潜在特征向量u和步骤3中所述项目潜在特征向量矩阵V中的项目潜在特征向量v进行连接操作,得到连接矩阵
Figure FDA0003249676990000043
步骤32:把步骤31获得的所述连接矩阵
Figure FDA0003249676990000044
输入到评分预测模型中的多层感知机MLP中:
Figure FDA0003249676990000045
g2=σ[W1·g1+b1]
……
gl=σ[Wl-1·gl-1+bl-1]
rui′=wT·gl
其中,l是加权图卷积神经网络的隐藏层数目,rui′为用户u对项目i的预测评分。
10.根据权利要求1所述的融合多特征信息的加权图卷积神经网络评分预测模型,其特征在于:所述步骤4的优化函数具体为:
Figure FDA0003249676990000046
其中,Ο={(u,i)|(u,i)∈R+}为已有的用户项目交互集合的空间(已存在评分集),rui是用户对项目的实际评分,为了防止模型过拟合,使用L2正则化,其中Θ为模型参数,λ为惩罚强度。
CN202111042055.5A 2021-09-07 融合多特征信息的加权图卷积神经网络评分预测模型 Active CN113807422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111042055.5A CN113807422B (zh) 2021-09-07 融合多特征信息的加权图卷积神经网络评分预测模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111042055.5A CN113807422B (zh) 2021-09-07 融合多特征信息的加权图卷积神经网络评分预测模型

Publications (2)

Publication Number Publication Date
CN113807422A true CN113807422A (zh) 2021-12-17
CN113807422B CN113807422B (zh) 2024-05-31

Family

ID=

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115098787A (zh) * 2022-07-21 2022-09-23 西安电子科技大学 基于余弦排名损失和虚拟边图神经网络的物品推荐方法
CN115249539A (zh) * 2022-01-27 2022-10-28 云南师范大学 一种多模态小样本抑郁症预测模型构建方法
CN115795177A (zh) * 2022-11-25 2023-03-14 人民网股份有限公司 社交媒体内容推荐方法及装置
CN115905617A (zh) * 2023-03-02 2023-04-04 南京邮电大学 一种基于深度神经网络与双正则化的视频评分预测方法
CN116628538A (zh) * 2023-07-26 2023-08-22 之江实验室 基于图对齐神经网络的患者聚类方法、装置和计算机设备
CN117112915A (zh) * 2023-10-24 2023-11-24 广州美术学院 基于用户特征及大数据训练的智能设计方法和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740444A (zh) * 2016-02-02 2016-07-06 桂林电子科技大学 基于用户评分的项目推荐方法
CN106777200A (zh) * 2016-12-23 2017-05-31 Tcl集团股份有限公司 项目推荐的方法及装置
CN108256093A (zh) * 2018-01-29 2018-07-06 华南理工大学 一种基于用户多兴趣及兴趣变化的协同过滤推荐算法
CN108874914A (zh) * 2018-05-29 2018-11-23 吉林大学 一种基于图卷积与神经协同过滤的信息推荐方法
CN110555161A (zh) * 2018-05-30 2019-12-10 河南理工大学 一种基于用户信任和卷积神经网络的个性化推荐方法
CN111523051A (zh) * 2020-04-24 2020-08-11 山东师范大学 基于图卷积矩阵分解的社交兴趣推荐方法及系统
CN112100486A (zh) * 2020-08-21 2020-12-18 西安电子科技大学 一种基于图模型的深度学习推荐系统及其方法
CN112528165A (zh) * 2020-12-16 2021-03-19 中国计量大学 一种基于动态路由图网络的会话社交推荐方法
CN112529415A (zh) * 2020-12-11 2021-03-19 西安电子科技大学 基于组合多感受野图神经网络的物品评分方法
US20210110458A1 (en) * 2019-10-09 2021-04-15 Target Brands, Inc. Faceted item recommendation system
CN112860984A (zh) * 2019-11-27 2021-05-28 中移(苏州)软件技术有限公司 一种推荐方法、装置及储存介质
CN112905900A (zh) * 2021-04-02 2021-06-04 辽宁工程技术大学 基于图卷积注意力机制的协同过滤推荐算法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740444A (zh) * 2016-02-02 2016-07-06 桂林电子科技大学 基于用户评分的项目推荐方法
CN106777200A (zh) * 2016-12-23 2017-05-31 Tcl集团股份有限公司 项目推荐的方法及装置
CN108256093A (zh) * 2018-01-29 2018-07-06 华南理工大学 一种基于用户多兴趣及兴趣变化的协同过滤推荐算法
CN108874914A (zh) * 2018-05-29 2018-11-23 吉林大学 一种基于图卷积与神经协同过滤的信息推荐方法
CN110555161A (zh) * 2018-05-30 2019-12-10 河南理工大学 一种基于用户信任和卷积神经网络的个性化推荐方法
US20210110458A1 (en) * 2019-10-09 2021-04-15 Target Brands, Inc. Faceted item recommendation system
CN112860984A (zh) * 2019-11-27 2021-05-28 中移(苏州)软件技术有限公司 一种推荐方法、装置及储存介质
CN111523051A (zh) * 2020-04-24 2020-08-11 山东师范大学 基于图卷积矩阵分解的社交兴趣推荐方法及系统
CN112100486A (zh) * 2020-08-21 2020-12-18 西安电子科技大学 一种基于图模型的深度学习推荐系统及其方法
CN112529415A (zh) * 2020-12-11 2021-03-19 西安电子科技大学 基于组合多感受野图神经网络的物品评分方法
CN112528165A (zh) * 2020-12-16 2021-03-19 中国计量大学 一种基于动态路由图网络的会话社交推荐方法
CN112905900A (zh) * 2021-04-02 2021-06-04 辽宁工程技术大学 基于图卷积注意力机制的协同过滤推荐算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王睿: "基于图网络结构的推荐方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2019, pages 19 - 30 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249539A (zh) * 2022-01-27 2022-10-28 云南师范大学 一种多模态小样本抑郁症预测模型构建方法
CN115098787A (zh) * 2022-07-21 2022-09-23 西安电子科技大学 基于余弦排名损失和虚拟边图神经网络的物品推荐方法
CN115098787B (zh) * 2022-07-21 2024-04-19 西安电子科技大学 基于余弦排名损失和虚拟边图神经网络的物品推荐方法
CN115795177A (zh) * 2022-11-25 2023-03-14 人民网股份有限公司 社交媒体内容推荐方法及装置
CN115795177B (zh) * 2022-11-25 2023-04-28 人民网股份有限公司 社交媒体内容推荐方法及装置
CN115905617A (zh) * 2023-03-02 2023-04-04 南京邮电大学 一种基于深度神经网络与双正则化的视频评分预测方法
CN116628538A (zh) * 2023-07-26 2023-08-22 之江实验室 基于图对齐神经网络的患者聚类方法、装置和计算机设备
CN117112915A (zh) * 2023-10-24 2023-11-24 广州美术学院 基于用户特征及大数据训练的智能设计方法和系统
CN117112915B (zh) * 2023-10-24 2024-02-20 广州美术学院 基于用户特征及大数据训练的智能设计方法和系统

Similar Documents

Publication Publication Date Title
CN111523047B (zh) 基于图神经网络的多关系协同过滤算法
CN106021364B (zh) 图片搜索相关性预测模型的建立、图片搜索方法和装置
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
CN112417306B (zh) 基于知识图谱的推荐算法性能优化的方法
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN111651558A (zh) 基于预训练语义模型的超球面协同度量推荐装置和方法
CN109033294B (zh) 一种融入内容信息的混合推荐方法
US20230185865A1 (en) Personalized comment recommendation method based on link prediction model of graph bidirectional aggregation network
CN114332519A (zh) 一种基于外部三元组和抽象关系的图像描述生成方法
CN112085158A (zh) 一种基于堆栈降噪自编码器的图书推荐方法
CN113342994B (zh) 一种基于无采样协作知识图网络的推荐系统
WO2020147259A1 (zh) 一种用户画像方法、装置、可读存储介质及终端设备
CN116662601A (zh) 一种基于图神经网络和知识图谱的歌曲推荐方法
CN115840853A (zh) 一种基于知识图谱和图注意力网络的课程推荐系统
CN113807422A (zh) 融合多特征信息的加权图卷积神经网络评分预测模型
CN113807422B (zh) 融合多特征信息的加权图卷积神经网络评分预测模型
CN114564594A (zh) 一种基于双塔模型的知识图谱用户偏好实体召回方法
CN111460318B (zh) 基于显性和隐性信任的协同过滤推荐方法
CN114819152A (zh) 一种基于强化学习增强的图嵌入专家实体对齐方法
CN114637846A (zh) 视频数据处理方法、装置、计算机设备和存储介质
CN114329222A (zh) 一种融合注意力机制和双端知识图谱的电影推荐方法
CN117743694B (zh) 基于图节点特征增强的多层迁移学习跨域推荐方法及系统
Zuo et al. A tag-aware recommendation algorithm based on deep learning and multi-objective optimization
CN117788122B (zh) 一种基于异质图神经网络商品推荐方法
Hawthorne et al. Graph Neural Network Enhancing Recommendation System based on Social Relationship and Attention Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant