CN111143705B - 一种基于图卷积网络的推荐方法 - Google Patents

一种基于图卷积网络的推荐方法 Download PDF

Info

Publication number
CN111143705B
CN111143705B CN201911371099.5A CN201911371099A CN111143705B CN 111143705 B CN111143705 B CN 111143705B CN 201911371099 A CN201911371099 A CN 201911371099A CN 111143705 B CN111143705 B CN 111143705B
Authority
CN
China
Prior art keywords
user
item
layer
convolution network
graph convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911371099.5A
Other languages
English (en)
Other versions
CN111143705A (zh
Inventor
韩笑
徐晓斌
赵辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201911371099.5A priority Critical patent/CN111143705B/zh
Publication of CN111143705A publication Critical patent/CN111143705A/zh
Application granted granted Critical
Publication of CN111143705B publication Critical patent/CN111143705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于图卷积网络的推荐方法，用于解决现有方法中对用户‑项目关系特征挖掘不充分以及稀疏数据计算资源消耗巨大的问题。具体内容包括一种基于图卷积网络的推荐算法框架，在召回率和归一化折扣累积率这两项指标上较现有传统方法有较大提升。

Description

一种基于图卷积网络的推荐方法
技术领域
本方法涉及推荐算法、图卷积网络以及深度学习。
背景技术
随着大数据、云计算、物联网等技术的飞速发展，互联网空间中的应用种类层出不穷，导致了互联网空间中数据的爆炸式增长。根据国际数据集团(IDC) 2012年的一份报告显示：到2020年，预计全球数据总量是2011年的22倍，将达到35.2ZB。大数据为信息技术的发展带来了巨大的潜力和契机，但同时也带来了严重的信息过载问题。如何从纷繁复杂的数据中筛选出有价值的信息成为阻碍大数据发展的关键难题。推荐算法作为解决信息过载问题的一项关键技术，已经得到了学术界和工业界的广泛关注并应用到各个领域当中，如音乐、视频、新闻、广告、商品等。推荐算法通过对用户和项目进行特征提取和模型构建，计算后为用户推荐其感兴趣的内容或商品，提升用户满意度。近些年来，数据量的飞速增长使得传统方法在挖掘数据价值上的局限性越来越明显，限制了算法性能的发挥。随着计算机的计算能力不断提高，之前一些因为计算量巨大而无法良好使用的算法得到了人们的重视和发展，深度学习就是其中之一。深度学习作为大数据时代的一项重要技术已经被广泛应用到各个行业当中，如图像识别、自然语言处理等。卷积神经网络作为深度学习方法中的一种重要方法已经在图像等领域取得巨大成就，但随着人们研究的不断深入，人们发现卷积神经网络研究的对象只局限于欧几里得空间的数据，即具有规则空间结构的数据。对于一些非欧几里得空间的数据，如不规则三维模型、社交网络的抽象图谱等，卷积神经网络的卓越效果无法良好的发挥，于是图卷积网络应运而生。近些年来，图卷积网络已经在图像处理领域取得了丰硕的成果，它对非欧几里得空间数据的良好处理能力也吸引了推荐算法相关研究人员的关注，如何在推荐算法中良好地应用图卷积网络以提升用户体验已经成为现阶段推荐算法的一个研究热点。
现有方法
近些年来，深度学习在图像、自然语言处理、语音识别等领域都取得了突破性进展，为信息化时代带来了人工智能的热潮，同时也助力了推荐算法的发展。一方面，深度学习可以通过学习一种深层次非线性网络结构，用以表示用户与项目的特征，能够从样本中获取用户和项目的深层特征表示；另一方面，深度学习通过从多源异构数据中进行自动特征学习，从而将不同数据映射到一个相同的隐空间，能够获得数据的统一表征，结合传统推荐算法得到更好的推荐效果。现阶段基于深度学习技术的推荐系统主要分为以下五种：(1)基于内容的推荐算法，利用用户的显示或隐式反馈数据、用户画像、项目内容数据，以及各类的用户生成内容，采用深度学习方法来学习用户与项目的隐向量，并将与用户交互过的类似项目推荐给用户。(2)基于协同过滤的推荐算法，利用用户的显示或者隐式反馈数据，采用深度学习的方法学习用户或者项目的隐向量，从而基于隐向量预测用户的偏好。(3)混合推荐算法，模型层面主要是对基于内容的推荐和基于协同过滤的推荐相融合，包括后融合、中融合、前融合三种。后融合即指在决策层面上将两种算法相融合，中融合即指在模型层面将两种算法相融合，前融合即指在特征提取层面将两种算法相融合。(4)基于社交网络的推荐算法，利用用户的显示或隐式反馈数据、用户的社会化关系等数据，采用深度学习模型重点建模用户之间的社会关系影响，更好地发现用户偏好。(5)基于情景感知的推荐系统，利用用户的显示或隐式反馈数据以及用户的情景信息等各类数据，采用深度学习模型对用户的情景进行建模，发现用户在特定情景下的偏好。
方法缺陷
上述基于深度学习方法存在以下问题：
(1)数据价值挖掘不完全。在挖掘用户和项目数据信息时，上述方法只考虑了用户与项目之间的浅层联系，即一次交互关联，而没有考虑用户与用户之间、用户于项目之间的深层次关联，如两用户之间可能因另一个用户而存在潜在关联。
(2)推荐算法的数据通常为巨大稀疏数据，需要大规模的硬件和时间计算。
发明内容
本发明通过用户与项目数据集，建立基于图卷积网络的深度学习推荐模型，预测用户可能感兴趣的项目列表并给出排名。本方法通过将高阶稀疏特征向量转化为低阶稠密向量，并对其进行图卷积操作以挖掘用户之间更深层次的信息(这里用户与项目的联系可以看作是一种图结构)，从而解决数据价值挖掘不完全的问题，此外此方法将稀疏高维数据转化为稠密低维数据，大大减少了运算时间，节省了运算资源。具体技术方案如下：
(1)选择数据作为训练集，根据训练集数据生成用户-项目交互矩阵和反映用户与项目之间联系的领接矩阵(即用户-项目联系拓扑图的矩阵表示，见图3 )。本方法所使用的图卷积网络模型由嵌入层、嵌入传播层、隐藏层和预测层组成。训练集数据在进入模型时会通过嵌入层进行嵌入操作，之后通过嵌入传播层来挖掘数据的深层次关联信息，再将嵌入传播层得到的特征向量作为输入进入到隐藏层中进一步挖掘用户与项目直接的联系，最后通过预测层预测得到预测分数并与实际分数进行比较从而优化模型参数；
(2)将用户-项目交互矩阵输入嵌入层，得到一个统一的特征向量(eu， ei)，具体为：根据用户-项目交互矩阵通过one-hot编码将用户和项目映射到同一个潜在空间中，将稀疏的用户-项目交互矩阵抽象成稠密的用户的特征向量 eu和项目的特征向量ei；
(3)将(2)中的特征向量和之前通过处理训练集得到的邻接矩阵作为输入输入到嵌入传播层中。通过图卷积网络对数据进行更深层次的特征挖掘。具体来说，对于存在交互的用户-项目对(u,i)，对它们进行如下计算
Figure BDA0002337302600000031
Figure BDA0002337302600000032
这里W1、W2代表信息的可训练矩阵(即图卷积网络的参数矩阵)， N1、Ni分别代表u、i邻居(即与u或i直接连接的节点数量)的数量，运算⊙表示元素乘积运算，得到代表用户u与项目i联系的信息(反映u-i联系的特征向量)m1←i；
(4)接下来把用户u的每一条信息进行聚合，得到用户u的最终表示
Figure BDA0002337302600000033
Figure BDA0002337302600000034
这里函数f为激活函数；
(5)对项目i进行相同的操作得到项目i的最终表示
Figure BDA0002337302600000035
(6)将经过嵌入传播操作后的特征向量
Figure BDA0002337302600000041
和
Figure BDA0002337302600000042
输入到隐藏层中，通过多层感知积挖掘数据的非线性特征，通过内积运算挖掘用户的线性特征，并将两种特征连接后传入预测层中；
(7)最后，通过预测层计算用户u对项目i的偏好
Figure BDA0002337302600000043
并通过不断优化损失函数得到最佳模型参数；
(8)参数训练完毕后即可该算法模型并用测试集加以测试与应用。
有益效果
本方法将图卷积网络应用到基于深度学习的推荐算法当中，解决了传统方法对数据挖掘不充分和计算资源消耗过大的问题，达到了更好的推荐效果。
附图说明
图1 、方法流程图
图2 、模型结构图
图3 、用户-项目拓扑图及其邻接矩阵图
具体实施方式
(1)使用Gowalla数据集，该数据集为一款名为Gowalla的签到应用提供，其中用户与项目(地点)交互意为用户在此地点进行了签到。该数据集包含 29858个用户、40981个项目(地点)，其中存在的交互数量为1027370，数据稀疏度为0.00084。我们将其中百分之八十的交互数据作为训练集，其余的作为测试集。将训练集的交互数据生成用户-项目交互矩阵和能表示用户-项目拓扑图的邻接矩阵。
(2)将用户-项目交互矩阵输入到嵌入层，得到用户特征向量和项目特征向量，此特征为64元的一维向量。
(3)将(2)中的特征向量和(1)中生成的邻接矩阵输入到传播嵌入层，通过图卷积网络运算得到用户u与所有与之存在交互的项目i之间的信息m1←i，再将这些信息连接后通过ReLU激活函数得到最终的用户特征向量
Figure BDA0002337302600000044
同样可以得到项目i的特征向量
Figure BDA0002337302600000045
这里的特征向量为64元的一维向量。
(4)将
Figure BDA0002337302600000051
和
Figure BDA0002337302600000052
传入隐藏层，通过矩阵内积运算挖掘线性特征，得到φ1，此向量为64元的一维向量。
(5)将
Figure BDA0002337302600000053
和
Figure BDA0002337302600000054
连接后传入隐藏层，使用多层感知机挖掘非线性特征，多层感知机(MLP)是一种塔式网络结构，底层最宽，每个后继层具有更少的神经元数量。网络共有2层，每层的的神经元数量分别为128、64，该多层感知机定义为
Figure BDA0002337302600000055
这里w1、w2分别为多层感知机第一层和第二层的权重矩阵，b1、b2分别为第一层和第二层的神经阈值，σ()为ReLU激活函数。得到非线性特征φ2，此向量为64元的一维向量。
(6)将(4)(5)中得到的φ1和φ2拼接为128元的一维向量φ后输入到预测层，预测层为一个一层神经元数量为128的全连接网络，此全连接网络定义为
Figure BDA0002337302600000056
这里w为全连接网络的权重矩阵，b为全连接网络的阈值，σ()为ReLU激活函数，得到预测结果
Figure BDA0002337302600000057
(7)最后选取贝叶斯个性化排序(BPR)函数作为损失函数，选择随机梯度下降(SGD)作为优化器对模型参数进行优化，当迭代次数达到400次之后模型趋于稳定，各项参数达到最优。
(8)用测试集对该模型进行测试，而且就两个指标召回率和归一化折扣累积率同传统模型进行比较，证明该方法模型的性能高于传统方法。

Claims (3)

1.一种基于图卷积网络的推荐方法，其特征在于包括以下步骤：
(1)选择数据作为训练集，根据训练集数据生成用户-项目交互矩阵(eui)U×I和反映用户与项目之间联系的邻接矩阵，即用户-项目联系拓扑图的矩阵表示；其中，本方法所使用的图卷积网络模型由嵌入层、嵌入传播层、隐藏层和预测层组成；
(2)将用户-项目交互矩阵作为输入输入到嵌入层，所述嵌入层用于将用户和项目映射到同一个潜在空间，具体为：将用户-项目交互矩阵输入嵌入层，得到用户的特征向量eu和项目的特征向量ei，并将二者连接得到一个统一的特征向量(eu，ei)；
(3)将(2)中的特征向量(eu，ei)和之前通过处理训练集得到的邻接矩阵输入到嵌入传播层，具体来说，对于存在交互的用户-项目对(u,i)，对它们进行如下计算
Figure FDA0003015656930000011
这里W1、W2代表信息的可训练矩阵，即图卷积网络的待训练参数矩阵，Nu代表用户u的邻居个数，即与节点u直接连接的节点的个数，Ni代表项目i的邻居个数，即与节点i直接连接的节点的个数，运算⊙表示元素乘积运算，得到表示用户u与项目i之间联系的特征向量mu←i；
(4)接下来把用户u的每一条信息进行聚合，得到用户u的最终表示
Figure FDA0003015656930000012
Figure FDA0003015656930000013
这里函数f为激活函数；
(5)对项目i进行相同的操作得到项目i的最终表示
Figure FDA0003015656930000014
(6)将经过嵌入传播操作后的特征向量
Figure FDA0003015656930000015
和
Figure FDA0003015656930000016
输入到隐藏层中，通过多层感知机挖掘数据的非线性特征，通过内积运算挖掘用户的线性特征，并将两种特征连接后传入预测层中；
(7)最后，通过预测层计算用户u对项目i的偏好
Figure FDA0003015656930000017
并通过不断优化损失函数得到最佳模型参数；
采用贝叶斯个性化排序(BPR)函数作为损失函数，选择随机梯度下降SGD作为优化器对对图卷积网络模型进行训练；
(8)使用训练完成的图卷积网络模型进行预测。
2.根据权利要求1所述的一种基于图卷积网络的推荐方法，其特征在于：所述多层感知机共有4层，每层的的神经元数量分别为128、64、32、8。
3.根据权利要求1所述的一种基于图卷积网络的推荐方法，其特征在于：所述的用户-项目交互矩阵(eui)U×I，u＝1、2、…、U代表用户，i＝1、2、…、I代表项目，当用户u与项目i之间存在直接关系时，eui＝1，否则eui＝0。
CN201911371099.5A 2019-12-26 2019-12-26 一种基于图卷积网络的推荐方法 Active CN111143705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911371099.5A CN111143705B (zh) 2019-12-26 2019-12-26 一种基于图卷积网络的推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911371099.5A CN111143705B (zh) 2019-12-26 2019-12-26 一种基于图卷积网络的推荐方法

Publications (2)

Publication Number Publication Date
CN111143705A CN111143705A (zh) 2020-05-12
CN111143705B true CN111143705B (zh) 2021-05-28

Family

ID=70520715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911371099.5A Active CN111143705B (zh) 2019-12-26 2019-12-26 一种基于图卷积网络的推荐方法

Country Status (1)

Country Link
CN (1) CN111143705B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812450B (zh) * 2020-06-01 2022-03-18 复旦大学 一种电网危险故障的识别方法
CN111782964B (zh) * 2020-06-23 2024-02-09 北京智能工场科技有限公司 一种社区帖子的推荐方法
CN115867919A (zh) * 2020-08-17 2023-03-28 华为技术有限公司 用于推荐系统的图结构感知增量学习
CN111949885B (zh) * 2020-08-27 2022-05-03 桂林电子科技大学 一种面向旅游景点的个性化推荐方法
CN113010772B (zh) * 2021-02-22 2024-04-09 腾讯科技（深圳）有限公司 一种数据处理方法、相关设备及计算机可读存储介质
US20220405588A1 (en) * 2021-05-26 2022-12-22 Ishaan Kumar System, method, and computer-readable media for leakage correction in graph neural network based recommender systems
CN113569155B (zh) * 2021-07-30 2022-05-03 西南大学 一种基于改进循环神经网络算法的推荐召回方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874914A (zh) * 2018-05-29 2018-11-23 吉林大学 一种基于图卷积与神经协同过滤的信息推荐方法
CN109299373A (zh) * 2018-10-20 2019-02-01 上海交通大学 基于图卷积技术的推荐系统
CN110473592A (zh) * 2019-07-31 2019-11-19 广东工业大学 基于图卷积网络的有监督的多视角人类协同致死基因预测方法
CN110580314A (zh) * 2019-07-16 2019-12-17 华南师范大学 基于图卷积神经网络和动态权重的课程推荐方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874914A (zh) * 2018-05-29 2018-11-23 吉林大学 一种基于图卷积与神经协同过滤的信息推荐方法
CN109299373A (zh) * 2018-10-20 2019-02-01 上海交通大学 基于图卷积技术的推荐系统
CN110580314A (zh) * 2019-07-16 2019-12-17 华南师范大学 基于图卷积神经网络和动态权重的课程推荐方法和系统
CN110473592A (zh) * 2019-07-31 2019-11-19 广东工业大学 基于图卷积网络的有监督的多视角人类协同致死基因预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Attention-based Graph Convolutional Network for Recommendation System;Chenyuan Feng.etc;《ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;20190517;第7560-7564页 *
GACOforRec: Session-Based Graph Convolutional Neural Networks Recommendation Model;Mingge Zhang.etc;《 IEEE Access ( Volume: 7)》;20190820;第114077-114085页 *
改进卷积神经网络在分类与推荐中的实例应用;杨天祺等;《计算机应用研究》;20180430;第974-977、1045页 *

Also Published As

Publication number Publication date
CN111143705A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111143705B (zh) 一种基于图卷积网络的推荐方法
US20210334625A1 (en) Webinterface generation and testing using artificial neural networks
WO2021203819A1 (zh) 一种内容推荐方法、装置、电子设备和存储介质
CN111382309B (zh) 一种基于图模型的短视频推荐方法、和智能终端和存储介质
CN111339415B (zh) 一种基于多交互式注意力网络的点击率预测方法与装置
CN111881350B (zh) 一种基于混合图结构化建模的推荐方法与系统
CN111125530B (zh) 一种基于多类型特征深度学习的信息流推荐方法
CN111241394B (zh) 数据处理方法、装置、计算机可读存储介质及电子设备
CN110659411B (zh) 一种基于神经注意力自编码器的个性化推荐方法
CN110399518A (zh) 一种基于图卷积的视觉问答增强方法
CN111563770A (zh) 一种基于特征差异化学习的点击率预估方法
CN112115377A (zh) 一种基于社交关系的图神经网络链路预测推荐方法
CN113378048B (zh) 一种基于多视角知识图谱注意力网络的个性化推荐方法
CN111949885B (zh) 一种面向旅游景点的个性化推荐方法
CN112559764A (zh) 一种基于领域知识图谱的内容推荐方法
CN115329215A (zh) 异构网络中基于自适应动态知识图谱的推荐方法及系统
CN111159242A (zh) 一种基于边缘计算的客户端重排序方法及系统
CN114579852A (zh) 一种基于图卷积网络与注意力机制的推荐方法
CN113268592A (zh) 基于多层次交互注意力机制的短文本对象情感分类方法
WO2023284516A1 (zh) 基于知识图谱的信息推荐方法、装置、设备、介质及产品
CN115391555A (zh) 一种用户感知的知识图谱推荐系统及方法
CN114139066A (zh) 一种基于图神经网络的协同过滤推荐系统
CN112765474A (zh) 一种基于深度协同过滤的推荐方法及系统
CN117763238B (zh) 基于多图神经网络的学位论文评审专家推荐方法
CN116932887A (zh) 一种基于多模态图卷积的影像推荐系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant