CN116561424A - 一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法 - Google Patents

一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法 Download PDF

Info

Publication number
CN116561424A
CN116561424A CN202310539285.5A CN202310539285A CN116561424A CN 116561424 A CN116561424 A CN 116561424A CN 202310539285 A CN202310539285 A CN 202310539285A CN 116561424 A CN116561424 A CN 116561424A
Authority
CN
China
Prior art keywords
user
commodity
neural network
graph
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310539285.5A
Other languages
English (en)
Inventor
康雁
袁艳聪
张华栋
彭陆含
王鑫超
谢文涛
李京蔚
陈亦敏
普康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202310539285.5A priority Critical patent/CN116561424A/zh
Publication of CN116561424A publication Critical patent/CN116561424A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，包括以下步骤：获取数据并进行数据预处理，构建训练集，验证集和测试集，对数据进行数据增强；提取出用户‑商品交互矩阵，并构建邻接矩阵；将邻接矩阵进行特征映射，随机初始化特征向量，根据编号映射得到图中每个节点的特征向量；将邻接矩阵输入到图神经网络模块，通过信息传播机制得到全局向量的表示；将全局向量表示映射后输入序列编码器中，输出用户意图的向量表示；优化蕴含兴趣和意图的向量表示。使用多种深度学习模型，融合图神经网络和Transformer的智能推荐方法，得到用户和商品的特征表示向量，用其训练神经网络模型更符合实际情况，对用户进行商品的推荐更加准确有效。

Description

一种应用于智能推荐系统的图神经网络结合Transformer的 推荐方法
技术领域
本发明涉及人工智能深度学习中的智能推荐系统领域，具体涉及一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法。
背景技术
目前，互联网信息过载，用户在使用的过程中不堪重负，信息使用者和创造者都遇到了很大的挑战：他们都面临如何从海量信息中找到对自己有价值的信息；让创造的信息被其他用户所关注，这一问题非常难以求解。为求解此问题，智能推荐系统被提出并成为研究热点。推荐系统帮助用户挖掘出对其有价值的信息，通过个性化的方式挖掘用户从大量的选择中发现他们可能感兴趣的商品，这在实际生活中是非常重要的，所以推荐系统一直受到业界和学术研究团体的显著关注。
推荐系统是对用户分析历史行为，得到用户的兴趣爱好，并对其进行建模，使用模型推荐出能够满足用户需要的个性化推推。以用户行为的推荐作为常见的推荐模型之一，如协同过滤(collaborative filtering，CF),隐语义模型(latent factor model，LFM)；协同过滤推荐模型可以细分为基于用户的协同过滤和基于物品的协同过滤。
实际上在推荐系统中，用户下一次与商品的交互往往是受到用户意图和用户兴趣共同决定的,比如一位男士可能之前购买过很多跟打篮球有关的商品，如：篮球,护膝,运动短裤,这商品可以再一定的程度上反应该男士的兴趣,进而下一次男士交互的商品可能是篮球鞋,这体现了男用户的兴趣偏好,现又有一位女士可能之前购买过跟篮球没关系的商品，如：生日礼物,口红,高跟鞋,但是该女士的朋友可能要过生日了,女士想送她朋友一双篮球鞋,所以该女士下次交互的商品也是篮球鞋,我们不能分析出女用户的兴趣是打篮球,但是可以分析出女士购买篮球鞋是为了送生日礼物,这体现了女用户的意图,所以用户的兴趣和意图共同决定用户之后与哪些商品的交互。
要捕获用户的兴趣和意图，只能从用户交互的历史商品序列中来分析，并且用户的意图和兴趣往往是复杂的，多变的，这使我们只是原始数据是很难充分捕获它们的。所以我们需要基于原始数据构建增强样本，并从多视角，如图视角、序列视角、全局视角、局部视角等视角来充分捕获兴趣和意图，并将它们应用到智能推荐系统中并提升推荐的性能。
发明内容
本发明的目的在于：针对目前没有从多视角，如图视角、序列视角、全局视角、局部视角等视角来充分捕获兴趣和意图，进而提升推荐系统性能的问题，提供了一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，使用多种深度学习模型，融合图神经网络和Transformer的智能推荐方法，对原始数据进行数据增强的增强方法，得到智能推荐系统中用户和商品的特征表示向量，这些特征表示向量对智能推荐方法非常重要，用其训练的神经网络模型更符合实际情况，在智能推荐系统中对用户进行商品的推荐更加准确有效。
本发明的技术方案如下：
一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，包括以下步骤：
S1：获取数据并进行数据预处理，构建用户-商品的训练集，验证集和测试集，对原始数据进行数据增强，得到增强后的数据；
S2：从用户交互序列中提取出用户-商品交互矩阵，并构建邻接矩阵，得到用户-商品图的邻接矩阵；
S3：将邻接矩阵进行特征映射，特征映射为：随机初始化特征向量，根据特征的编号和图节点中的编号的映射得到图中每个节点的特征向量；
S4：将邻接矩阵输入到图神经网络模块，通过信息传播机制得到全局向量的表示；
S5：将全局向量表示映射后输入到序列编码器中，输出捕获了用户意图的向量表示；
S6：通过图对比学习和序列对比学习优化用户和商品蕴含兴趣和意图的向量表示。
进一步的，所述S4通过图传播的机制聚合高阶邻居特征，具体包括以下步骤：
S4.1：给定图G＝(V,E)，其中V表示节点，E表示边；输入为N个节点的特征h＝{h1,h2,…,hN}，输出为对节点hi和hj进行特征映射，再进行邻居特征运算；
S4.2：得到用户-商品图的邻接矩阵为：
S4.3：随机初始化表示用户和商品为和/>形成第0层嵌入矩阵为：E(0)∈R(M +N)×Z，其中，Z是嵌入大小，M，N分别为用户和商品个数，R(M+N)×Z表示二维矩阵E(0)的维度为(M+N)×Z，当Adj和E(0)给定时，更新用户和商品的表示：/>其中，D是邻接矩阵Adj的度矩阵，/>为正则化后的拉普拉斯矩阵；
S4.4：得到用户和商品表示的最终嵌入矩阵：Efinal＝α0E(0)+α1E(1)+…+αKE(k)，用户和商品的表示包含在Efinal中，其中，E(0)表示初始输入，E(1)代表第一次的输入，α0代表重要程度。
进一步的，所述S5将通过图传播学习到的全局特征的原始和增强的用户表示输入到Transformer中self-attention机制的序列编码器中来捕捉用户意图，具体包括以下步骤：
S5.1：通过共享矩阵将用户序列中Su中各项的位置映射为特征向量，计算过程为：P0＝W·Su，其中，Su表示用户与商品交互序列；
S5.2：将用户和商品的每一项表示与其对应的位置表示融合，公式为：其中，/>是将两个向量的相应维数相加，P0表示用户与商品交互序列中商品位置的向量表示，G0表示Su的向量表示；
S5.3：将Ei输入到编码器中，通过自注意机制学习序列中不同项之间的权重，公式为：
其中，Q，K，V表示自注意机制计算过程中需要的三个特征向量；
S5.4：最终学习到的商品的表示蕴含了用户意图和用户兴趣。
进一步的，所述S5.3具体包括以下步骤：
在头部空间h中通过三种不同的线性变换将Ei映射为三个特征向量，公式为：
其中，表示三个映射的向量，/>表示可学习参数；
商品间权值的计算方法采用点积运算，为保证梯度的稳定性，将其缩放为Dk，融合权值后，使用具有单个隐藏层的前馈网络计算，公式为：
其中，hμ为蕴含了用户意图和用户兴趣的商品表示。
进一步的，还包括以下步骤：
S7：针对智能推荐系统的实际应用场景，确定图神经网络的层数，激活函数，全连接层数，每个商品的向量维度，数据增强的方法增强的样本数，每个目标函数的权重系数；
S8：将商品序列输入到模型，得到该序列中所有商品的表示，通过计算当前序列最后一个商品和预测的商品的乘积得出推荐评分，根据评分从大到小一次推荐前20商品，根据真实推荐的商品和真实交互的商品计算HR@20和NDCG@20指标来衡量模型的性能；
S9:通过验证集和测试数据集验证神经网络模型的效果，并调整各参数，得到图神经网络结合Transformer的智能推荐方法的最优预测模型。
进一步的，所述S1中预处理包括以下步骤：
去除用户-商品交互数小于5次的数据行，去除缺失数据的行和非数值字段；
如果用户交互的商品数少于序列推荐中的最大长度,则在左侧补0,如果超过最大长度则截断。
进一步的，还包括训练模型中采用Batch Normalization算法，每个batch对网络中的每一层特征进行归一化处理，使神经网络中每层的分布相对稳定。
与现有的技术相比本发明的有益效果是：
1、一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，将图神经网络领域和Transformer融合，可以有效缓解推荐系统中数据稀疏和冷启动的问题，使设计与实现的智能推荐系统更加有效；
2、一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，将邻接矩阵输入到图神经网络中，通过图神经网络学习全局特征捕获用户兴趣后输出用户和商品表示，在得到两者表示的基础上通过与用户与商品交互序列中的商品编号的映射恢复用户的表示；
3、一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，通过Transformer从序列级别捕获用户意图，通过多视图的对比学习目标函数来优化用户和商品的表示，当学习完两者的向量表示之后，通过向量之间的运算来预测下一个商品出现在当前商品之后的概率，通过HR@20和NDCG@20的测试指标来评测商品的top-n推荐。
附图说明
图1为一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法的流程图。
图2为一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法的具体步骤图。
图3为一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法的Sports数据集中部分数据结构图。
图4为一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法的邻接矩阵的构建过程图。
图5为一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法的基于self-attention实现的序列模型图。
图6为一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法的神经网络结构图。
图7为一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法在Sports数据上训练的过程图。
图8为一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法在Sports数据上训练时HR@20和NDCG@20的变化示意图。
具体实施方式
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合实施例对本发明的特征和性能作进一步的详细描述。
实施例一
请参阅图1-8，一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，包括以下步骤：
S1：获取数据并进行数据预处理，构建用户-商品的训练集，验证集和测试集，对原始数据进行数据增强，得到增强后的数据；
S2：从用户交互序列中提取出用户-商品交互矩阵，并构建邻接矩阵，得到用户-商品图的邻接矩阵；
S3：将邻接矩阵进行特征映射，特征映射为：随机初始化特征向量，根据特征的编号和图节点中的编号的映射得到图中每个节点的特征向量；
S4：将邻接矩阵输入到图神经网络模块，通过信息传播机制得到全局向量的表示；
S5：将全局向量表示映射后输入到序列编码器中，输出捕获了用户意图的向量表示；
S6：通过图对比学习和序列对比学习优化用户和商品蕴含兴趣和意图的向量表示。
S7：针对智能推荐系统的实际应用场景，确定图神经网络的层数，激活函数，全连接层数，每个商品的向量维度，数据增强的方法增强的样本数，每个目标函数的权重系数；
S8：将商品序列输入到模型，得到该序列中所有商品的表示，通过计算当前序列最后一个商品和预测的商品的乘积得出推荐评分，根据评分从大到小一次推荐前20商品，根据真实推荐的商品和真实交互的商品计算HR@20和NDCG@20指标来衡量模型的性能；
S9:通过验证集和测试数据集验证神经网络模型的效果，并调整各参数，得到图神经网络结合Transformer的智能推荐方法的最优预测模型。
所述S4通过图传播的机制聚合高阶邻居特征，具体包括以下步骤：
S4.1：给定图G＝(V,E)，其中V表示节点，E表示边；输入为N个节点的特征h＝{h1,h2,…,hN}，输出为对节点hi和hj进行特征映射，再进行邻居特征运算；
S4.2：得到用户-商品图的邻接矩阵为：
S4.3：随机初始化表示用户和商品为和/>形成第0层嵌入矩阵为：E(0)∈R(M +N)×Z，其中，Z是嵌入大小，M，N分别为用户和商品个数，R(M+N)×Z表示二维矩阵E(0)的维度为(M+N)×Z，当Adj和E(0)给定时，更新用户和商品的表示：/>其中，D是邻接矩阵Adj的度矩阵，/>为正则化后的拉普拉斯矩阵；
S4.4：得到用户和商品表示的最终嵌入矩阵：Efinal＝α0E(0)+α1E(1)+…+αKE(k)，用户和商品的表示包含在Efinal中，其中，E(0)表示初始输入，E(1)代表第一次的输入，α0代表重要程度。
所述S5将通过图传播学习到的全局特征的原始和增强的用户表示输入到Transformer中self-attention机制的序列编码器中来捕捉用户意图，具体包括以下步骤：
S5.1：通过共享矩阵将用户序列中Su中各项的位置映射为特征向量，计算过程为：P0＝W·Su，其中，Su表示用户与商品交互序列；
S5.2：将用户和商品的每一项表示与其对应的位置表示融合，公式为：其中，/>是将两个向量的相应维数相加，P0表示用户与商品交互序列中商品位置的向量表示，G0表示Su的向量表示；
S5.3：将Ei输入到编码器中，通过自注意机制学习序列中不同项之间的权重，公式为：
其中，Q，K，V表示自注意机制计算过程中需要的三个特征向量；
S5.4：最终学习到的商品的表示蕴含了用户意图和用户兴趣。
所述S5.3具体包括以下步骤：
在头部空间h中通过三种不同的线性变换将Ei映射为三个特征向量，公式为：
其中，表示三个映射的向量，/>表示可学习参数；
商品间权值的计算方法采用点积运算，为保证梯度的稳定性，将其缩放为Dk，融合权值后，使用具有单个隐藏层的前馈网络计算，公式为：
其中，hμ为蕴含了用户意图和用户兴趣的商品表示。
所述S1中预处理包括以下步骤：
去除用户-商品交互数小于5次的数据行，去除缺失数据的行和非数值字段；
如果用户交互的商品数少于序列推荐中的最大长度,则在左侧补0,如果超过最大长度则截断。
还包括训练模型中采用Batch Normalization算法，每个batch对网络中的每一层特征进行归一化处理，使神经网络中每层的分布相对稳定。
在另一实施例中，一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，包括以下步骤：
步骤1，从Amazon下载推荐系统的用户-商品数据集，进行数据的预处理,去除用户-商品交互数小于5次的数据行，去除缺失数据的行和非数值字段，如果过用户交互的商品数少于序列推荐中的最大长度,则在左侧补0,如果超过最大长度则截断，处理完数据后构建用户-商品的训练集,验证集,测试集。
以Amazon中的Sports数据集为例，Sports数据集是一个跟运动商品有关的数据集，预处理之后包含35598个用户，18357个商品和35598个用户对18357个商品的交互。如图3所示，数据集的部分结构第一列代表用户的ID、除第一列之外的其他列代表该用户与交互的商品ID。
步骤2，如图4所示的用户-商品的图结构关系，先构建用户-商品矩阵,再通过用户-商品矩阵购进邻接矩阵，若用户数量为100，商品数量为200，则用户部分构建100×200的矩阵，矩阵中的数值就填入1，商品部分构建200×100的矩阵，矩阵中的数值填入用户对商品的评分,若用户没有与商品交互则填入0。矩阵构建完成之后，就得到了神经网络训练初始的输入。
步骤3，将邻接矩阵进行特征映射，特征映射为：先随机初始化特征向量，根据特征的编号和图节点中的编号的映射得到图中每个节点的特征映射向量。
步骤4，通过图传播的机制聚合高阶邻居特征，给定图G＝(V,E),V表示节点，E表示边，节点的个数为N，输入为N个节点的特征h＝{h1,h2,…,hN}，输出为为了充分的表达节点的特征，先根据步骤3对节点hi和hj进行了特征映射，之后进行邻居特征运算。
我们从矩阵运算的角度出发，在图4中，我们从用户交互序列中提取出用户-商品交互矩阵，并构造邻接矩阵。然后我们得到用户-商品图的邻接矩阵为:
随机初始化表示用户和商品and/>两者形成了第0层嵌入矩阵被定义为:E(0)∈R(M+N)×Z,Z是嵌入的大小，M，N分别为用户和商品个数，R(M+N)×Z表示二维矩阵E(0)的维度为(M+N)×Z。当Adj和E(0)给定时，通过下面的公式来更新用户和物品的表示：
其中，D是邻接矩阵Adj的度矩阵，/>为正则化后的拉普拉斯矩阵。
最后，我们得到了用户和商品表示的最终嵌入矩阵:
Efinal＝α0E(0)+α1E(1)+…+αKE(K)，其中，E(0)表示初始输入，E(1)代表第一次的输入，α0代表重要程度
用户和商品的表示都包含Efinal在中。
步骤5，在得到用户和商品的表示后，将商品的表示向量与用户的交互序列中的商品编号以映射的方式恢复序列的表示，我们的目标是序列推荐，因此使用序列模型来学习序列特征是必不可少的，如图5所示，我们将通过图传播学习到的全局特征的原始和增强的用户表示输入到基于Transformer中self-attention机制的序列编码器中来捕获用户意图。在编码器中，我们首先通过共享矩阵将用户序列Su中各项的位置映射为特征向量，计算过程如下所示:
P0＝W·Su，
其中，Su表示用户与商品交互序列。
在步骤4输出后，我们将其输出后的每一项的表示与其对应的位置表示融合，如下所示，是将两个向量的相应维数相加，P0表示用户与商品交互序列中商品位置的向量表示，G0表示Su的向量表示。
我们将Ei输入到编码器中，然后通过自注意机制学习序列中不同项之间的权重，如下所示：
其中Q,K,V表示自注意机制计算过程中需要的三个特征向量。在本文中，我们首先在头部空间h中通过三种不同的线性变换将Ei映射为三个特征向量。
表示三个映射的向量，/>表示可学习参数。商品间权值的计算方法采用点积运算，为保证梯度的稳定性，将其缩放为Dk。在融合权值后，使用一个具有单个隐藏层的前馈网络。
最终学习到的商品的表示蕴含了用户意图和用户兴趣hμ，在Sports数据集上实现更好的推荐效果。
步骤4和步骤5的结合是本发明的一个创新，传统的序列推荐方法都是单纯从单个用户级别的交互数据中学习用户购买过的商品之间的关系，通过几层全连接层得到最终每个商品的向量表示，本发明为了弥补传统模型从单个序列级别商品之间挖掘潜在关系信息的不足缺陷，将用户和商品的特征表示通过图神经网络进行了特征全局性增强，为了进一步挖掘商品之间挖掘潜在关系，引入了self-attention机制在全局角度的基础上从局部角度挖掘它们之间的关系。单纯从原始数据集来捕获用户的兴趣和意图是不充分了，通过数据增强的方式从数据角度来促进两者的捕获，通过图对比和序列对比的损失函数进一步从目标函数的角度来捕获两者，最终学习到的商品的表示蕴含了用户意图和用户兴趣有助于推荐性能的提升，在Sports数据集上实现更好的推荐效果。
步骤6，从时序角度，通过最大化用户交互中商品依次出现的概率，从图对比学习角度来优化捕获到的用户兴趣，从序列对比角度来优化捕获到的用户意图，从全局和局部角度来促进意图和兴趣的互相学习。
步骤7，针对智能推荐系统的实际应用场景，确定，图神经网络的层数，激活函数，全连接层数，每个商品的向量维度，数据增强的方法增强的样本数，每个目标函数的权重系数；
步骤8，将商品序列输入到模型，得到该序列中所有商品的表示，通过计算当前序列最后一个商品和预测的商品的乘积得出推荐评分，根据评分从大到小一次推荐前20商品，根据真实推荐的商品和真实交互的商品计算HR@20和NDCG@20指标来衡量模型的性能。
步骤9，通过验证集和测试数据集验证神经网络模型的效果，并调整各参数，得到图神经网络结合Transformer的智能推荐方法的最优预测模型；
所述应用于智能推荐系统的图神经网络结合Transformer推荐模型分为两个模块，第一个模块通过图神经网络进行全局的表示增强，第二个模块输入基于self-attention的序列模型来捕获用户意图并通过序列对比的方式来优化意图的捕获，第三个模块，通过图对比的方式来优化兴趣的捕获，并通过全局的兴趣原型来指导局部意图的捕获。最终学习到的商品的表示蕴含了用户意图和用户兴趣，在Sports数据集上实现更好的推荐效果。
在训练过程中由于会对每层的参数进行不断更新，会导致下一次输入分布有较大变化，所以需要精心设计超参数，使用Batch Normalization(BN)算法，每个batch对网络中的每一层特征都做归一化处理，使神经网络中每层的分布相对稳定，BN算法不仅起到一定的正则作用，而且弱化了一些超参数的设计。
使用构建好的最优预测模型对Sports数据集上数据进行训练，得到图8所示HR@20和NDCG@20的变化，相同轮数下，HR@20指标评估值较高。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (7)

1.一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，其特征在于，包括以下步骤：
S1：获取数据并进行数据预处理，构建用户-商品的训练集，验证集和测试集，对原始数据进行数据增强，得到增强后的数据；
S2：从用户交互序列中提取出用户-商品交互矩阵，并构建邻接矩阵，得到用户-商品图的邻接矩阵；
S3：将邻接矩阵进行特征映射，特征映射为：随机初始化特征向量，根据特征的编号和图节点中的编号的映射得到图中每个节点的特征向量；
S4：将邻接矩阵输入到图神经网络模块，通过信息传播机制得到全局向量的表示；
S5：将全局向量表示映射后输入到序列编码器中，输出捕获了用户意图的向量表示；
S6：通过图对比学习和序列对比学习优化用户和商品蕴含兴趣和意图的向量表示。
2.根据权利要求1所述的一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，其特征在于，所述S4通过图传播的机制聚合高阶邻居特征，具体包括以下步骤：
S4.1：给定图G＝(V,E)，其中V表示节点，E表示边；输入为N个节点的特征h＝{h1,h2,…,hN}，输出为对节点hi和hj进行特征映射，再进行邻居特征运算；
S4.2：得到用户-商品图的邻接矩阵为：
S4.3：随机初始化表示用户和商品为和/>形成第0层嵌入矩阵为：E(0)∈R(M+N)×Z，其中，Z是嵌入大小，M，N分别为用户和商品个数，R(M+N)×Z表示二维矩阵E(0)的维度为(M+N)×Z，当Adj和E(0)给定时，更新用户和商品的表示：/>其中，D是邻接矩阵Adj的度矩阵，/>为正则化后的拉普拉斯矩阵；
S4.4：得到用户和商品表示的最终嵌入矩阵：Efinal＝α0E(0)+α1E(1)+…+αKE(K)，用户和商品的表示包含在Efinal中，其中，E(0)表示初始输入，E(1)代表第一次的输入，α0代表重要程度。
3.根据权利要求1所述的一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，其特征在于，所述S5将通过图传播学习到的全局特征的原始和增强的用户表示输入到Transformer中self-attention机制的序列编码器中来捕捉用户意图，具体包括以下步骤：
S5.1：通过共享矩阵将用户序列中Su中各项的位置映射为特征向量，计算过程为：P0＝W·Su，其中，Su表示用户与商品交互序列；
S5.2：将用户和商品的每一项表示与其对应的位置表示融合，公式为：其中，/>是将两个向量的相应维数相加，P0表示用户与商品交互序列中商品位置的向量表示，G0表示Su的向量表示；
S5.3：将Ei输入到编码器中，通过自注意机制学习序列中不同项之间的权重，公式为：
其中，Q，K，V表示自注意机制计算过程中需要的三个特征向量；
S5.4：最终学习到的商品的表示蕴含了用户意图和用户兴趣。
4.根据权利要求3所述的一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，其特征在于，所述S5.3具体包括以下步骤：
在头部空间h中通过三种不同的线性变换将Ei映射为三个特征向量，公式为：
其中，表示三个映射的向量，/>表示可学习参数；
商品间权值的计算方法采用点积运算，为保证梯度的稳定性，将其缩放为Dk，融合权值后，使用具有单个隐藏层的前馈网络计算，公式为：
其中，hμ为蕴含了用户意图和用户兴趣的商品表示。
5.根据权利要求1所述的一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，其特征在于，还包括以下步骤：
S7：针对智能推荐系统的实际应用场景，确定图神经网络的层数，激活函数，全连接层数，每个商品的向量维度，数据增强的方法增强的样本数，每个目标函数的权重系数；
S8：将商品序列输入到模型，得到该序列中所有商品的表示，通过计算当前序列最后一个商品和预测的商品的乘积得出推荐评分，根据评分从大到小一次推荐前20商品，根据真实推荐的商品和真实交互的商品计算HR@20和NDCG@20指标来衡量模型的性能；
S9:通过验证集和测试数据集验证神经网络模型的效果，并调整各参数，得到图神经网络结合Transformer的智能推荐方法的最优预测模型。
6.根据权利要求1所述的一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，其特征在于，所述S1中预处理包括以下步骤：
去除用户-商品交互数小于5次的数据行，去除缺失数据的行和非数值字段；
如果用户交互的商品数少于序列推荐中的最大长度,则在左侧补0,如果超过最大长度则截断。
7.根据权利要求1所述的一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法，其特征在于，还包括训练模型中采用Batch Normalization算法，每个batch对网络中的每一层特征进行归一化处理，使神经网络中每层的分布相对稳定。
CN202310539285.5A 2023-05-12 2023-05-12 一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法 Pending CN116561424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310539285.5A CN116561424A (zh) 2023-05-12 2023-05-12 一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310539285.5A CN116561424A (zh) 2023-05-12 2023-05-12 一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法

Publications (1)

Publication Number Publication Date
CN116561424A true CN116561424A (zh) 2023-08-08

Family

ID=87497797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310539285.5A Pending CN116561424A (zh) 2023-05-12 2023-05-12 一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法

Country Status (1)

Country Link
CN (1) CN116561424A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542720A (zh) * 2023-07-05 2023-08-04 湖北工业大学 一种基于图卷积网络的时间增强信息序列推荐方法及系统
CN116883061A (zh) * 2023-09-08 2023-10-13 北京中奥通宇科技股份有限公司 对数据进行实时分析的可调整智能选品系统
CN117319610A (zh) * 2023-11-28 2023-12-29 松立控股集团股份有限公司 基于高位全景相机区域增强的智慧城市道路监控方法
CN117788122A (zh) * 2024-02-23 2024-03-29 山东科技大学 一种基于异质图神经网络商品推荐方法
CN117788122B (zh) * 2024-02-23 2024-05-10 山东科技大学 一种基于异质图神经网络商品推荐方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542720A (zh) * 2023-07-05 2023-08-04 湖北工业大学 一种基于图卷积网络的时间增强信息序列推荐方法及系统
CN116542720B (zh) * 2023-07-05 2023-09-19 湖北工业大学 一种基于图卷积网络的时间增强信息序列推荐方法及系统
CN116883061A (zh) * 2023-09-08 2023-10-13 北京中奥通宇科技股份有限公司 对数据进行实时分析的可调整智能选品系统
CN116883061B (zh) * 2023-09-08 2023-12-01 北京中奥通宇科技股份有限公司 对数据进行实时分析的可调整智能选品系统
CN117319610A (zh) * 2023-11-28 2023-12-29 松立控股集团股份有限公司 基于高位全景相机区域增强的智慧城市道路监控方法
CN117319610B (zh) * 2023-11-28 2024-01-30 松立控股集团股份有限公司 基于高位全景相机区域增强的智慧城市道路监控方法
CN117788122A (zh) * 2024-02-23 2024-03-29 山东科技大学 一种基于异质图神经网络商品推荐方法
CN117788122B (zh) * 2024-02-23 2024-05-10 山东科技大学 一种基于异质图神经网络商品推荐方法

Similar Documents

Publication Publication Date Title
CN112598462B (zh) 基于协同过滤和深度学习的个性化推荐方法及系统
Koohi et al. A new method to find neighbor users that improves the performance of collaborative filtering
Khan et al. CNN with depthwise separable convolutions and combined kernels for rating prediction
Verdonck et al. Special issue on feature engineering editorial
CN116561424A (zh) 一种应用于智能推荐系统的图神经网络结合Transformer的推荐方法
Chen et al. Using fruit fly optimization algorithm optimized grey model neural network to perform satisfaction analysis for e-business service
CN107357793B (zh) 信息推荐方法和装置
CN113256367B (zh) 用户行为历史数据的商品推荐方法、系统、设备及介质
WO2010068840A1 (en) Machine optimization devices, methods, and systems
Jadhav et al. Efficient recommendation system using decision tree classifier and collaborative filtering
Liang et al. A probabilistic rating auto-encoder for personalized recommender systems
CN110321473B (zh) 基于多模态注意力的多样性偏好信息推送方法、系统、介质及设备
CN112100512A (zh) 一种基于用户聚类和项目关联分析的协同过滤推荐方法
CN113268656A (zh) 一种用户推荐方法、装置、电子设备及计算机存储介质
CN110781401A (zh) 一种基于协同自回归流实现的Top-n项目推荐方法
Lu et al. Learning from multi-view multi-way data via structural factorization machines
Sridhar et al. Content-Based Movie Recommendation System Using MBO with DBN.
CN108984551A (zh) 一种基于多类别联合软聚类的推荐方法及系统
Fareed et al. A collaborative filtering recommendation framework utilizing social networks
Liu E-commerce precision marketing model based on convolutional neural network
CN116340643B (zh) 对象推荐的调整方法及装置、存储介质、电子设备
Kuo et al. An application of differential evolution algorithm-based restricted Boltzmann machine to recommendation systems
Lu et al. Artificial immune network with feature selection for bank term deposit recommendation
Meena et al. A genetic algorithm approach for group recommender system based on partial rankings
KR102600697B1 (ko) 제한적 볼츠만 머신 구동 기반의 인터랙티브 맞춤형 검색 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination