CN113378047B - 一种基于多方面增强的图神经网络推荐方法 - Google Patents
一种基于多方面增强的图神经网络推荐方法 Download PDFInfo
- Publication number
- CN113378047B CN113378047B CN202110646392.9A CN202110646392A CN113378047B CN 113378047 B CN113378047 B CN 113378047B CN 202110646392 A CN202110646392 A CN 202110646392A CN 113378047 B CN113378047 B CN 113378047B
- Authority
- CN
- China
- Prior art keywords
- user
- features
- node
- aspects
- preference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 230000002996 emotional effect Effects 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 230000008447 perception Effects 0.000 claims abstract description 22
- 230000002452 interceptive effect Effects 0.000 claims abstract description 7
- 230000003993 interaction Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 25
- 230000002776 aggregation Effects 0.000 claims description 20
- 238000004220 aggregation Methods 0.000 claims description 20
- 239000002775 capsule Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000012552 review Methods 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 102100022622 Alpha-1,3-mannosyl-glycoprotein 2-beta-N-acetylglucosaminyltransferase Human genes 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 2
- 108010035532 Collagen Proteins 0.000 description 2
- 101000972916 Homo sapiens Alpha-1,3-mannosyl-glycoprotein 2-beta-N-acetylglucosaminyltransferase Proteins 0.000 description 2
- 101000930003 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) Diacylglycerol O-acyltransferase 1 Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 229920001436 collagen Polymers 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多方面增强的图神经网络推荐方法。本发明定义了一个方面增强的图神经网络框架，该框架主要包括三个模块：特征学习模块、方面感知图模块和基于路由的融合模块。特征学习模块分别利用BERT和嵌入层学习方面情感特征和交互特征。方面感知图模块，通过并行地构建多个方面感知图来捕捉细粒度的用户偏好和项目属性。基于路由的融合模块，通过学习用户偏好在不同方面的分布实现方面偏好的动态融合。本发明借助多个方面感知图学习细粒度的用户偏好，并借助路由机制动态融合多方面的偏好特征得到统一的偏好表示，从而提高推荐的性能和可解释性。
Description
技术领域
本发明属于数据挖掘技术领域，具体涉及智能推荐领域中的一种基于多方面增强的图神经网络推荐方法。
背景技术
互联网的普及和电子商务的发展将丰富的信息和多样化的产品呈现给人们，但伴随而来的是严重的信息过载问题。信息过载的出现使得用户很难从海量的数据找到自己感兴趣的信息。推荐系统作为解决信息过载的重要手段已经成为许多搜索引擎、电子商务、新闻资讯等网站的核心组件。协同过滤[文献1]是目前应用最成功的一种推荐算法，它建模用户的历史交互以捕捉潜在的用户偏好和项目属性特征，并设计交互函数来计算用户对项目的预测评分，进而为用户提供个性化的推荐列表。然而数字的评分缺乏有效的信息来体现用户购买商品的深层次原因，并且容易受到数据稀疏性的影响。因此，最近的许多研究致力于结合多种形式的辅助信息进行推荐的混合推荐方法。用户生成评论能直接体现用户的购买意图和偏好，已经被许多研究证实引入文本信息能够有效的提升推荐系统的性能。
以往的结合文本进行混合推荐的方法大多利用主题模型学习评论的主题特征[文献2]或采用神经网络来捕捉文本上下文特征[文献3],[文献4]。随后的工作关注“有用的”文本，例如[文献5],[文献6]引入注意力机制为评论中不同词语或属于一个用户或项目的多条评论自适应地分配权重。然而大多数基于评论的推荐忽略了用户对项目的偏好可能是多方面的这样一个事实。“方面”被定义为能描述产品特征的词或短语。例如一条“这件衣服款式很好看但是价格有点贵”的评论表达了用户对衣服“外观”和“价格”不同的情感极性。这两个方面对用户的购买决定分别起着积极和消极相反的作用。为了对用户偏好进行多方面的建模，[文献7]将方面描述为一组潜在主题的多项分布。ANR[文献8]通过对文本嵌入进行aspect-specific的矩阵投影得到获得用户或项目的方面级表示。此外，更多的文章[文献9],[文献10]借助额外的情感分析方法进行方面特征的学习，结合方面特征和用户评分捕捉更加全面和准确的用户偏好。这些方法表明，利用评论中提及的方面捕捉细粒度的偏好特征能够有效提升偏好建模的准确性。
基于图神经网络(Graph Neural Networks,GNNs)的方法将用户-项目交互构建为一个二部图，借助图结构上的多跳信息传播学习更加丰富的偏好特征。He等人[文献11],[文献12]利用图卷积网络[文献13](Graph Convolutional Networks,GCN)优化随机的用户和项目嵌入。它将用户(或项目)的嵌入表示为邻居项目(或用户)的聚合从而在多层卷积中捕获高阶连通性，即多跳邻居表现出的用户偏好的相似性。图注意力网络[文献14](Graph Attention Networks,GAT)区分不同邻居的重要性，采用多头注意力建模邻居节点的注意力权重。Mu等人[文献15]通过分配由多头注意力计算的特定权重来区分不同邻居的重要性。他们使用图形拓扑结构来丰富评级数据，从而有效地克服了数据稀疏性问题。DGCF[文献16]和MGAT[文献17]分别在意图和模态的粒度上对用户的兴趣进行建模。然而，他们忽略了文本评论中体现的多方面的用户意图，导致无法捕捉细粒度的用户偏好。
[文献1]Koren Y,Bell R,Volinsky C.Matrix Factorization Techniques forRecommender Systems[J].Computer,2009,42(8):30-37.
[文献2]Bao Y,Fang H,Zhang J.TopicMF:simultaneously exploiting ratingsand reviews for recommendation.//Twenty-Eighth AAAI Conference on ArtificialIntelligence.AAAI Press,2014:2-8.
[文献3]Zheng L，Noroozi V，Yu P S.Joint Deep Modeling of Users andItems Using Reviews for Recommendation[C]//the Tenth ACM InternationalConference.ACM,2017.
[文献4]Lu Y,Dong R,Smyth B.Coevolutionary recommendation model:Mutuallearning between ratings and reviews[C]//Proceedings of the 2018World WideWeb Conference.2018:773-782.
[文献5]Liu D,Li J,Du B,et al.DAML:Dual Attention Mutual Learningbetween Ratings and Reviews for Item Recommendation[C]//the 25th ACM SIGKDDInternational Conference.ACM,2019.
[文献6]Chen C,Zhang M,Liu Y,et al.Neural Attentional RatingRegression with Review-level Explanations[C]//the 2018World Wide WebConference.2018.
[文献7]Cheng Z,Ding Y,Zhu L,et al.Aspect-aware latent factor model:Rating prediction with ratings and reviews[C]//Proceedings of the 2018worldwide web conference.2018:639-648.
[文献8]Chin J Y,Zhao K,Joty S,et al.ANR:Aspect-based NeuralRecommender[C]//the 27th ACM International Conference.ACM,2018.
[文献9]Kim D,Park C,Oh J,et al.Convolutional matrix factorization fordocument context-aware recommendation.//Proceedings of the 10th ACMConference on Recommender Systems.ACM,2016:233-240.
[文献10]Zhang Y,Lai G,Zhang M,et al.Explicit factor models forexplainable recommendation based on phrase-level sentiment analysis[C]//Proceedings of the 37th international ACM SIGIR conference on Research&development in information retrieval.2014:83-92.
[文献11]Wang X,He X,Wang M,et al.Neural Graph Collaborative Filtering[C]//the 42nd International ACM SIGIR Conference.ACM,2019.
[文献12]He X,Deng K,Wang X,et al.LightGCN:Simplifying and PoweringGraph Convolution Network for Recommendation[C]//SIGIR'20:The43rdInternational ACM SIGIR conference on research and development in InformationRetrieval.ACM,2020.
[文献13]Thomas N.Kipf and Max Welling.Semi-supervised classificationwith graph convolutional networks[C]//ICLR，2017.
[文献14]Velikovi P,Cucurull G，Casanova A，et al.Graph AttentionNetworks[J].2017.
[文献15]Mu N,Zha D,He Y,et al.Graph Attention Networks for NeuralSocial Recommendation[C]//2019IEEE 31st International Conference on Toolswith Artificial Intelligence(ICTAI).IEEE,2019:1320-1327.
[文献16]Wang X,Jin H,Zhang A,et al.Disentangled Graph CollaborativeFiltering[J].2020.
[文献17]Tao Z,Wei Y，Wang X,et al.MGAT:Multimodal Graph AttentionNetwork for Recommendation[J].Information Processing&Management，2020，57(5):102277.
发明内容
本发明所要解决的技术问题是针对上述现有技术存在的问题和不足，提供一种基于多方面增强的图神经网络推荐方法，重点是通过并行地构建多个方面感知图将用户偏好解耦为不同的方面，以借助高阶的邻居聚合学习细粒度的偏好特征，并设计一个基于路由的融合机制，为不同的方面自适应的分配权重实现多方面偏好特征的动态融合，捕捉更为全面的用户偏好特征，从而提升推荐结果的准确性、透明度和可解释性。
本发明为解决上述技术问题采用以下的技术方案：一种基于多方面增强的图神经网络推荐方法，包括以下步骤：
步骤1，对评论信息进行预处理，从输入的文本评论中提取共享的方面集合以分析用户购买行为的共性特征；
步骤2，根据提取到的方面集合为数据集中的每条评论构建“评论-方面”对，基于BERT模型来提取针对特定方面的情感特征；利用嵌入层将评分信息映射为低维稠密的用户交互特征和项目交互特征；
步骤3，并行地构建多个异构方面感知图捕捉用户多方面的购买偏好，引入方面情感特征进行方面感知的邻居聚合；
步骤4，增加自适应的路由融合模块为不同方面的偏好动态分配权重，实现细粒度偏好的动态融合，得到融合后的用户特征和项目特征；
步骤5，将上述过程构建的用户特征和项目特征作为最终的用户特征和项目特征的初始化参数，并利用贝叶斯个性化排序进行训练得到最终的用户-项目评分的预测值。
进一步的，所述步骤1具体为，
对评论信息进行预处理包括过滤占位符和无效的评论，随后利用Sentires工具从所有的用户评论中提取出用户关心的方面，包括单词或短语，并根据方面出现的次数降序排列选择排名靠前的N个方面组成方面集合
进一步的，所述步骤2具体为，
步骤2.1，对于数据集中的每条评论，针对方面集合中的每一个方面构建“评论-方面”对作为后续步骤的输入，随后使用预训练的BERT模型提取构建句子的特征作为方面情感特征；方面情感特征提取的过程简记为：
hu，i，a＝BERT(cui-a)∈Rd
其中cui表示用户对项目的评论，hu,i，a表示用户u对项目i在方面
上提取的评论特征，d表示方面特征的维度；
步骤2.2，对于评分信息，采用一个嵌入函数来得到用户和项目的稠密向量表示，具体表示如下：
其中u，i分别为用户和项目的IDs，Pa∈Rm×d和Qa∈Rn×d分别代表针对方面a的用户嵌入矩阵和项目嵌入矩阵，通过随机初始化得到，m,n分别为用户数量和项目数量，eu,a,ei,a∈Rd分别表示映射得到用户交互特征和项目交互特征；d表示交互特征的维度。
进一步的，所述步骤3具体为，
步骤3.1，在学习到评论体现的方面情感特征和评分特征，并行地构建多个异构地方面感知图
其中
表示方面集合，
表示方面的个数；目的是利用方面情感特征优化信息聚合捕捉细粒度的用户偏好；其中，任一异构的无向图被定义为Ga＝(V,Ha)，
表示由用户和项目构成的节点集合，Ha为边的集合，hu,i,a∈Ha不仅表示u和i之间有边，而且代表了用户对项目在方面a上的情感特征，即赋予了边实际的含义；
步骤3.2，在给定方面感知的交互图Ga后，利用图神经网络捕捉用户交互图的结构特征并优化节点嵌入，因此设计一个方面感知的邻居聚合方法，在捕捉细粒度的用户偏好的同时减少噪声项目对偏好学习的影响，将一个节点的特征表示为其邻居节点的特征聚合：
其中e′n，a为更新后的节点特征，Nn为节点n的邻居集合，πn,t，a为n←t上信息传播的衰减因子，控制有多少信息可以从节点t传递到节点n；Wa为一个可训练的权重矩阵；另外设计了方面感知的注意力，其中加入了节点的细粒度的方面特征来控制信息流动，能够根据用户偏好和项目属性在该方面的契合度来计算注意力权重πn，t，a，形式化为如下的形式：
其中en，a，et,a和hn,t,a分别为方面级的节点特征、邻居特征和方面情感特征；||表示连接操作(concatenate)，
为每个方面特定的权重向量；LeakyReLU是非线性的激活函数，最后应用softmax函数计算πn，t，a的值；
为了构建评论特征和评分特征的双向交互，在每一次卷积操作后，根据信息聚合的结果反过来对评论特征进行更新，并将调整后的边特征加入下一次的卷积操作中：
h′n，t，a＝hn，t，a+e′n，a tanh(et，a)
其中h′n，t，a为更新后的边特征，tanh表示非线性函数；
步骤3.3，采用多层的图卷积来实现信息在图结构上的高阶传播，将多层的图卷积定义如下：
其中，
和
分别表示当前节点和邻居节点的特征，上角标(l+1)和(l)表示卷积的层数，为了简便，将上述方面感知的邻居聚合算法，即整个步骤3.2的计算过程简记为AGG(·)；在计算时，将初始化的节点特征作为
在多层卷积的节点特征表示之后，通过求平均得到优化后的节点方面级向量表示
L为限定卷积层数的超参数：
最终经过多个并行的方面感知图，得到节点的嵌入表示
其中上角标a1，a2,…,ak用来区分不同方面的特征并且
进一步的，所述步骤4具体为，
步骤4.1，在自适应路由融合模块，将每个方面感知的节点嵌入作为一个胶囊，并将方面融合的过程形式化为一个双层胶囊网络；对于任意的
采用动态路由算法来计算每个胶囊激活第二层胶囊的可能性，具体地，将融合后的偏好特征sn表示为不同方面嵌入地加权连接：
其中ca＝softmax(ba)为耦合系数，用来评估不同方面对用户整体偏好的贡献大小，通过以下两个步骤来计算ba：首先针对加权连接得到sn∈Rd，应用一个非线性的squashing函数得到向量vn，Squashing函数可以在保持输入方向不变的情况下将长度压缩为[0,1]，即：
随后根据vn和胶囊中原始向量的一致性来计算得到ba，即首先将vn分割为
个特征向量
然后根据公式
计算得到ba；通过这样迭代的方式，自适应地调整不同方面特征对最终用户偏好和项目属性的建模，实现多方面特征的自适应融合，得到最终的用户特征表示
和项目特征表示
进一步的，所述步骤5具体为，
选择贝叶斯个性化排序损失进行回归，BPR是一个成对的损失函数，它假设用户交互的项目相比未观察到的项应该有更高的分数，表达式如下：
其中
表示预测评分，
表示三元组的训练数据，对于所有的用户，i,j分别为集合
和
的随机采样；σ(·)为sigmoid函数；
表示训练参数的L2正则化，λ是超参数。
本发明采用以上技术方案与现有技术相比，具有以下的技术效果：
1.本文将整体的用户偏好解耦为不同的方面，通过并行地构建多个方面感知图来学习不同方面的用户偏好，能够有效地建模多因素影响下的用户购买决定。同时设计了一个方面感知的邻居聚合方法，能够借助方面情感特征来控制交互图上高阶的信息传播，动态调整不同邻居对用户偏好建模的影响。
2.用户生成评论直观体现了用户的偏好，基于BERT模型挖掘用户评论中隐含的方面级用户偏好，作为边来构建用户交互图，克服了原有“0/1”值表达用户交互的不足。同时评论特征的引入有效地缓解了仅利用评分面临的数据稀疏性问题。
3.基于路由的方面融合机制将特征融合的过程视作一个两层胶囊网络，基于动态路由计算不同方面对总体偏好的贡献，模拟用户对不同方面关注程度的特异性，在准确建模用户偏好的同时提升推荐结果的可解释性。
结合以上三点，本发明所采用的一种基于多方面增强的图神经网络推荐方法能够更加准确的学习用户偏好特征和项目属性特征，从而提高推荐系统的性能。
附图说明
图1是本发明一种基于混合神经网络融合评论信息和评分信息的项目推荐方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本发明，并不用于限定本发明。
基于多方面增强的图神经网络推荐方法使用BERT模型学习用户的方面情感特征，并借此构建异构的方面感知图。利用高阶的邻居聚合捕捉细粒度的偏好特征；随后借助一个基于路由的融合模块自适应地融合多方面的特征得到用户和项目的统一表示，从而提升推荐系统的推荐性能和可解释性。
如图1所示，本发明公开了一种基于混合神经网络融合评论信息和评分信息的项目推荐方法，其具体实现包括以下步骤：
一种基于多方面增强的图神经网络推荐方法，包括如下步骤：
步骤1，对评论信息进行预处理，从输入的文本评论中提取共享的方面集合以分析用户购买行为的共性特征；
步骤2，根据提取到的方面集合为数据集中的每条评论构建“评论-方面”对，基于BERT模型来提取针对特定方面的情感特征；利用嵌入层将评分信息映射为低维稠密的用户交互特征和项目交互特征；
步骤3，并行地构建多个异构方面感知图捕捉用户细粒度的购买偏好，引入方面情感特征进行方面感知的邻居聚合；
步骤4，增加自适应的路由融合模块为不同方面的偏好动态分配权重，动态融合细粒度偏好，得到融合后的用户特征和项目特征。
步骤5，将上述过程构建的用户特征和项目特征作为最终的用户特征和项目特征的初始化参数，并利用贝叶斯个性化排序进行训练得到最终的用户-项目评分的预测值。
作为本发明一种基于多方面增强的图神经网络推荐方法进一步的优化方案，所述步骤1的详细步骤为：
对评论信息进行预处理主要是过滤占位符和无效的评论，随后利用Sentires工具从所有的用户评论中提取出用户关心的方面(单词或短语)，并根据方面出现的次数降序排列选择排名靠前的N个方面组成方面集合。
作为本发明一种基于多方面增强的图神经网络推荐方法进一步的优化方案，所述步骤2的详细步骤为：
步骤2.1：对于数据集中的每条评论，我们针对方面集合中的每一个方面构建“评论-方面”对作为后续步骤的输入。随后使用预训练的BERT模型提取构建句子的特征作为方面情感特征。我们将方面情感特征提取的过程简记为：
hu,i,a＝BERT(cui-a)∈Rd
其中cui表示用户对项目的评论，hu,i,a表示用户u对项目i在方面a上提取的评论特征，d表示方面特征的维度。在下文如果没有特别说明，a表示方面集合中的任一方面。
步骤2.2：对于评分信息，我们采用一个嵌入函数来得到用户和项目的稠密向量表示。one-hot编码的用户和项目IDs被作为输入利用嵌入矩阵映射为低维稠密的潜在因子向量。特别地，我们将交互特征也人为的划分为不同的方面以捕捉用户的不同方面的细粒度偏好。交互特征学习的过程形式化为：
其中u,i分别为用户和项目的IDs，Pa∈Rm×d和Qa∈Rn×d分别代表针对方面a的用户嵌入矩阵和项目嵌入矩阵，通过随机初始化得到，m,n分别为用户数量和项目数量，eu,a,ei,a∈Rd分别表示映射得到用户交互特征和项目交互特征；d表示交互特征的维度，和方面特征的维度相同。
作为本发明一种基于多方面增强的图神经网络推荐方法进一步的优化方案，所述步骤3的详细步骤为：
步骤3.1：在学习到评论体现的方面情感特征和评分特征之后，并行地构建多个异构的方面感知图
其中
表示方面集合，
表示方面的个数。目标是利用方面情感特征优化传统的信息聚合方式捕捉细粒度的用户偏好。任一异构的无向图被定义为Ga＝(V,Ha)，其中
表示由用户和项目构成的节点集合，在下文，我们将用户和项目不加区分的视作节点n，节点的嵌入表示为en,a∈Rd，由交互特征学习得到。Ha为边的集合，和之前不同的是，这里的hu,i,a∈Ha不仅表示u和i之间有边，而且代表了用户对项目在方面a上的情感特征，即赋予了边实际的含义。
步骤3.2：在给定方面感知的交互图Ga后，我们利用图神经网络捕捉用户交互图的结构特征并优化节点嵌入。因此我们设计一个方面感知的邻居聚合方法，在捕捉细粒度的用户偏好的同时减少噪声项目对偏好学习的影响。我们将一个节点的特征表示为其邻居节点的特征聚合：
其中e′n,a为更新后的节点特征，Nn为节点n的邻居集合，πn,t,a为n←t上信息传播的衰减因子，控制有多少信息可以从节点t传递到节点n,Wa为一个可训练的权重矩阵。本文设计了方面感知的注意力，其中加入了节点的细粒度的方面特征来控制信息流动，能够根据用户偏好和项目属性在该方面的契合度来计算注意力权重πn,t,a，形式化为如下的形式：
其中en,a，et,a和hn,t,a分别为方面级的节点特征、邻居特征和方面情感特征；||表示连接操作(concatenate)，
为每个方面特定的权重向量；LeakyReLU是非线性的激活函数，最后应用softmax函数计算πn,t,a的值。
为了构建评论特征和评分特征的双向交互，在每一次卷积操作后，我们根据信息聚合的结果反过来对评论特征进行更新，并将调整后的边特征加入下一次的卷积操作中：
h′n,t,a＝hn,t,a+e′n,a tanh(et,a)
其中h′n,t,a为更新后的边特征，tanh表示非线性函数。
步骤3.3：我们采用多层的图卷积来实现信息在图结构上的高阶传播。这样的操作可以结合多跳邻居的特征作为对节点的补充，从而缓解评分数据的稀疏性。我们将多层的图卷积定义如下：
其中，
和
分别表示当前节点和邻居节点的特征，上角标(l+1)和(l)表示卷积的层数。为了简便，我们将上述方面感知的邻居聚合算法(即整个步骤3.2的计算过程)简记为AGG(·)。在计算时，将初始化的节点特征作为
在多层卷积的节点特征表示之后，通过求平均得到优化后的节点方面级向量表示
L为限定卷积层数的超参数：
最终经过多个并行的方面感知图，我们得到节点的嵌入表示
其中上角标a1,a2,…,ak用来区分不同方面的特征并且
作为本发明一种基于多方面增强的图神经网络推荐方法进一步的优化方案，所述步骤4的详细步骤为：
步骤4.1：在自适应路由融合模块，将每个方面感知的节点嵌入作为一个胶囊，并将方面融合的过程形式化为一个双层胶囊网络。对于任意的
我们采用一个动态路由算法来计算每个胶囊激活第二层胶囊的可能性。具体地，我们将融合后的偏好特征sn表示为不同方面嵌入地加权连接：
其中ca＝softmax(ba)为耦合系数，用来评估不同方面对用户整体偏好的贡献大小。我们通过以下两个步骤来计算ba。首先针对加权连接得到sn∈Rd，应用一个非线性的squashing函数得到向量vn，Squashing函数可以在保持输入方向不变的情况下将长度压缩为[0,1]，即：
随后根据vn和胶囊中原始向量的一致性来计算得到ba，即首先将vn分割为
个特征向量
然后根据公式
计算得到ba。通过这样迭代的方式，我们自适应地调整不同方面特征对最终用户偏好和项目属性的建模，实现多方面特征的自适应融合，得到最终的用户特征表示
和项目特征表示
作为本发明一种基于多方面增强的图神经网络推荐方法进一步的优化方案，所述步骤5的详细步骤为：
步骤5.1：我们选择贝叶斯个性化排序(Bayesian Personalized Ranking,BPR)损失进行回归。BPR是一个成对的损失函数，它假设用户交互的项目相比未观察到的项应该有更高的分数。形式化地，我们有：
其中
表示预测评分，
表示三元组的训练数据，对于所有的用户，i,j分别为集合
和
的随机采样；σ(·)为sigmoid函数；
表示训练参数的L2正则化，λ是超参数。
应理解，上述实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围中。
Claims (4)
1.一种基于多方面增强的图神经网络推荐方法，其特征在于，包括以下步骤：
步骤1，对评论信息进行预处理，从输入的文本评论中提取共享的方面集合以分析用户购买行为的共性特征；
步骤2，根据提取到的方面集合为数据集中的每条评论构建“评论-方面”对，基于BERT模型来提取针对特定方面的情感特征；利用嵌入层将评分信息映射为低维稠密的用户交互特征和项目交互特征；
所述步骤2具体为，
步骤2.1，对于数据集中的每条评论，针对方面集合中的每一个方面构建“评论-方面”对作为后续步骤的输入，随后使用预训练的BERT模型提取构建句子的特征作为方面情感特征；方面情感特征提取的过程简记为：
hu,i,a＝BERT(cui-a)∈Rd
其中cui表示用户对项目的评论，hu,i,a表示用户u对项目i在方面a上提取的评论特征，d表示方面特征的维度；
步骤2.2，对于评分信息，采用一个嵌入函数来得到用户和项目的稠密向量表示，具体表示如下：
其中u,i分别为用户和项目的IDs，Pa∈Rm×d和Qa∈Rn×d分别代表针对方面a的用户嵌入矩阵和项目嵌入矩阵，通过随机初始化得到，m,n分别为用户数量和项目数量，eu,a,ei,a∈Rd分别表示映射得到用户交互特征和项目交互特征；d表示交互特征的维度；
步骤3，并行地构建多个异构方面感知图捕捉用户多方面的购买偏好，引入方面情感特征进行方面感知的邻居聚合；
所述步骤3具体为，
步骤3.1，在学习到评论体现的方面情感特征和评分特征，并行地构建多个异构地方面感知图
其中
表示方面集合，
表示方面的个数；目的是利用方面情感特征优化信息聚合捕捉细粒度的用户偏好；其中，任一异构的无向图被定义为Ga＝(V,Ha)，
表示由用户和项目构成的节点集合，Ha为边的集合，hu,i,a∈Ha不仅表示u和i之间有边，而且代表了用户对项目在方面a上的情感特征，即赋予了边实际的含义；
步骤3.2，在给定方面感知的交互图Ga后，利用图神经网络捕捉用户交互图的结构特征并优化节点嵌入，因此设计一个方面感知的邻居聚合方法，在捕捉细粒度的用户偏好的同时减少噪声项目对偏好学习的影响，将一个节点的特征表示为其邻居节点的特征聚合：
其中e′n,a为更新后的节点特征，Nn为节点n的邻居集合，πn,t,a为n←t上信息传播的衰减因子，控制有多少信息可以从节点t传递到节点n；Wa为一个可训练的权重矩阵；另外设计了方面感知的注意力，其中加入了节点的细粒度的方面特征来控制信息流动，能够根据用户偏好和项目属性在该方面的契合度来计算注意力权重πn,t,a，形式化为如下的形式：
其中en,a，et,a和hn,t,a分别为方面级的节点特征、邻居特征和方面情感特征；||表示连接操作(concatenate)，
为每个方面特定的权重向量；LeakyReLU是非线性的激活函数，最后应用softmax函数计算πn,t,a的值；
为了构建评论特征和评分特征的双向交互，在每一次卷积操作后，根据信息聚合的结果反过来对评论特征进行更新，并将调整后的边特征加入下一次的卷积操作中：
h′n,t,a＝hn,t,a+e′n,atanh(et,a)
其中h′n,t,a为更新后的边特征，tanh表示非线性函数；
步骤3.3，采用多层的图卷积来实现信息在图结构上的高阶传播，将多层的图卷积定义如下：
其中，
和
分别表示当前节点和邻居节点的特征，上角标(l+1)和(l)表示卷积的层数，为了简便，将上述方面感知的邻居聚合算法，即整个步骤3.2的计算过程简记为AGG(·)；在计算时，将初始化的节点特征作为
在多层卷积的节点特征表示之后，通过求平均得到优化后的节点方面级向量表示
L为限定卷积层数的超参数：
最终经过多个并行的方面感知图，得到节点的嵌入表示
其中上角标a1,a2,…,ak用来区分不同方面的特征并且
步骤4，增加自适应的路由融合模块为不同方面的偏好动态分配权重，实现细粒度偏好的动态融合，得到融合后的用户特征和项目特征；
步骤5，将上述过程构建的用户特征和项目特征作为最终的用户特征和项目特征的初始化参数，并利用贝叶斯个性化排序进行训练得到最终的用户-项目评分的预测值。
2.根据权利要求1所述的基于多方面增强的图神经网络推荐方法，其特征在于：所述步骤1具体为，
对评论信息进行预处理包括过滤占位符和无效的评论，随后利用Sentires工具从所有的用户评论中提取出用户关心的方面，包括单词或短语，并根据方面出现的次数降序排列选择排名靠前的N个方面组成方面集合。
3.根据权利要求1所述的基于多方面增强的图神经网络推荐方法，其特征在于：所述步骤4具体为，
步骤4.1，在自适应路由融合模块，将每个方面感知的节点嵌入作为一个胶囊，并将方面融合的过程形式化为一个双层胶囊网络；对于任意的
采用动态路由算法来计算每个胶囊激活第二层胶囊的可能性，具体地，将融合后的偏好特征sn表示为不同方面嵌入地加权连接：
其中ca＝softmax(ba)为耦合系数，用来评估不同方面对用户整体偏好的贡献大小，通过以下两个步骤来计算ba：首先针对加权连接得到sn∈Rd，应用一个非线性的squashing函数得到向量vn，Squashing函数可以在保持输入方向不变的情况下将长度压缩为[0,1]，即：
随后根据vn和胶囊中原始向量的一致性来计算得到ba，即首先将vn分割为
个特征向量
然后根据公式
计算得到ba；通过这样迭代的方式，自适应地调整不同方面特征对最终用户偏好和项目属性的建模，实现多方面特征的自适应融合，得到最终的用户特征表示
和项目特征表示
4.根据权利要求3所述的基于多方面增强的图神经网络推荐方法，其特征在于：所述步骤5具体为，
选择贝叶斯个性化排序损失进行回归，BPR是一个成对的损失函数，它假设用户交互的项目相比未观察到的项应该有更高的分数，表达式如下：
其中
表示预测评分，
表示三元组的训练数据，对于所有的用户，i,j分别为集合
和
的随机采样；σ(·)为sigmoid函数；
表示训练参数的L2正则化，λ是超参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110646392.9A CN113378047B (zh) | 2021-06-10 | 2021-06-10 | 一种基于多方面增强的图神经网络推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110646392.9A CN113378047B (zh) | 2021-06-10 | 2021-06-10 | 一种基于多方面增强的图神经网络推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113378047A CN113378047A (zh) | 2021-09-10 |
| CN113378047B true CN113378047B (zh) | 2022-10-21 |
Family
ID=77573597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110646392.9A Expired - Fee Related CN113378047B (zh) | 2021-06-10 | 2021-06-10 | 一种基于多方面增强的图神经网络推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113378047B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114124823B (zh) * | 2021-10-18 | 2023-08-11 | 西安电子科技大学 | 面向高动态网络拓扑下的自适应路由方法、系统、设备 |
| CN114461907B (zh) * | 2022-01-24 | 2024-06-21 | 华中师范大学 | 一种基于知识图谱的多元环境感知推荐方法及系统 |
| CN114969547B (zh) * | 2022-06-24 | 2023-04-18 | 杭州电子科技大学 | 一种基于多视角增强图注意神经网络的音乐推荐方法 |
| CN114817751B (zh) * | 2022-06-24 | 2022-09-23 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、电子设备、存储介质及程序产品 |
| CN115062732B (zh) * | 2022-08-18 | 2022-11-11 | 睿驰(深圳)智能有限公司 | 基于大数据用户标签信息的资源共享合作推荐方法及系统 |
| CN116738072B (zh) * | 2023-08-15 | 2023-11-14 | 深圳大学 | 一种结合人因信息的多维推荐方法 |
| CN117195890B (zh) * | 2023-11-07 | 2024-01-26 | 成都航空职业技术学院 | 一种基于机器学习的文本推荐方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753207A (zh) * | 2020-06-29 | 2020-10-09 | 华东师范大学 | 一种基于评论的神经图协同过滤模型 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8620804B2 (en) * | 2011-08-16 | 2013-12-31 | International Business Machines Corporation | Allocating research funding |
| CN106294758A (zh) * | 2016-09-23 | 2017-01-04 | 华南师范大学 | 基于用户认知度变化的协同推荐方法 |
| CN110517121A (zh) * | 2019-09-23 | 2019-11-29 | 重庆邮电大学 | 基于评论文本情感分析的商品推荐方法及商品推荐装置 |
| CN112347248A (zh) * | 2020-10-30 | 2021-02-09 | 山东师范大学 | 一种方面级文本情感分类方法及系统 |
| CN112667818B (zh) * | 2021-01-04 | 2022-06-14 | 福州大学 | 融合gcn与多粒度注意力的用户评论情感分析方法及系统 |
-
2021
- 2021-06-10 CN CN202110646392.9A patent/CN113378047B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753207A (zh) * | 2020-06-29 | 2020-10-09 | 华东师范大学 | 一种基于评论的神经图协同过滤模型 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113378047A (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113378047B (zh) | 一种基于多方面增强的图神经网络推荐方法 | |
| CN112084428A (zh) | 一种基于耦合网络嵌入及知识图谱的协同过滤推荐方法 | |
| CN113378048B (zh) | 一种基于多视角知识图谱注意力网络的个性化推荐方法 | |
| CN112650929B (zh) | 一种融入评论信息的图神经网络推荐方法 | |
| CN109190030B (zh) | 融合node2vec和深度神经网络的隐式反馈推荐方法 | |
| CN112507246B (zh) | 一种融合全局和局部社会兴趣影响的社会推荐方法 | |
| Liu et al. | Learning hierarchical review graph representations for recommendation | |
| CN113918832B (zh) | 基于社交关系的图卷积协同过滤推荐系统 | |
| Xiao et al. | Link prediction based on feature representation and fusion | |
| CN113918834B (zh) | 融合社交关系的图卷积协同过滤推荐方法 | |
| CN113590976A (zh) | 一种空间自适应图卷积网络的推荐方法 | |
| CN115481325A (zh) | 基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统 | |
| Gong et al. | Exploring temporal information for dynamic network embedding | |
| Shi et al. | Sengr: sentiment-enhanced neural graph recommender | |
| Cai et al. | RI-GCN: Review-aware interactive graph convolutional network for review-based item recommendation | |
| Wu | A product styling design evaluation method based on multilayer perceptron genetic algorithm neural network algorithm | |
| Li | [Retracted] Forecast and Simulation of the Public Opinion on the Public Policy Based on the Markov Model | |
| Ao et al. | Deep Collaborative Filtering Recommendation Algorithm Based on Sentiment Analysis | |
| Xiao et al. | Rtn-gnnr: Fusing review text features and node features for graph neural network recommendation | |
| Wu et al. | LP-UIT: A Multimodal Framework for Link Prediction in Social Networks | |
| Zeng | Tourism recommendation system based on knowledge graph feature learning | |
| Shen et al. | Enhancing interactive graph representation learning for review-based item recommendation | |
| CN117435813B (zh) | 一种基于高阶交互的双塔图卷积神经网络推荐方法 | |
| CN115422470B (zh) | 基于新闻异构网络的关系感知新闻推荐方法、系统、设备 | |
| Mu et al. | Heterogeneous information fusion based graph collaborative filtering recommendation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221021 |