CN112967112B - 一种自注意力机制和图神经网络的电商推荐方法 - Google Patents

一种自注意力机制和图神经网络的电商推荐方法 Download PDF

Info

Publication number
CN112967112B
CN112967112B CN202110312156.3A CN202110312156A CN112967112B CN 112967112 B CN112967112 B CN 112967112B CN 202110312156 A CN202110312156 A CN 202110312156A CN 112967112 B CN112967112 B CN 112967112B
Authority
CN
China
Prior art keywords
vector
interest
self
node
vector representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110312156.3A
Other languages
English (en)
Other versions
CN112967112A (zh
Inventor
彭博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110312156.3A priority Critical patent/CN112967112B/zh
Publication of CN112967112A publication Critical patent/CN112967112A/zh
Application granted granted Critical
Publication of CN112967112B publication Critical patent/CN112967112B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种自注意力机制和图神经网络的电商推荐方法。首先对电商交易数据进行预处理，提取到符合要求的会话，并生成序列和标签构成实验所用的数据集；根据预处理得到的数据集，构成会话图进行权重归一化处理后，输入到图神经网络里得到图内节点向量表示；最后从图内节点的向量表示提取出局部兴趣向量表示和全局向量表示，然后对局部兴趣向量表示和全局向量表示分别使用自注意力机制，得到对应局部自注意力向量和全局自注意力向量，并将这些向量聚合起来，得到混合兴趣的向量表示，用于给用户推荐喜欢的高评分物品。本发明充分考虑到用户以往的点击的相关信息，提供了一种效果更好的推荐方法。

Description

一种自注意力机制和图神经网络的电商推荐方法
技术领域
本发明属于数据挖掘应用中的个性化推荐技术领域，特别是涉及一种自注意力机制和图神经网络的电商推荐方法。
背景技术
当前，在海量数据的时代下，伴随着对于用户存在的信息茧房问题，如何基于用户的历史数据下，提供有效的个性化推荐结果是有待解决的重要问题。采用科学且有效的方法对数据进行挖掘提取出用户兴趣并生成合适的个性化推荐系统，是解决这一问题的主要手段。
与上述不同的是，实际工作中的用户历史行为数据往往是过长的，但面临海量数据、低延时、计算资源有限情况，即不得不将推荐算法建立在一个短会话的情况下，但同时这种将会话看成为序列化信息而提取，是没有完全考虑到不同物品的转换情况，故在这里提出一种利用图神经网络，构成会话图，通过图中物品与物品间的转换关系，即节点与节点的共现关系，来捕获更准确的物品向量表示。同时，通过自注意力机制更准确地提取出该会话内的对于物品的兴趣，也将更好地捕捉用户偏好。故提出一个基于自注意力机制和图神经网络的推荐方法。
发明内容
本发明的目的是克服没有充分利用用户画像和用户的以往的信息，会话图中物品和物品的转换关系提取不准确的不足，本发明通过自注意力机制和图神经网络对物品向量表示进行更准确的捕获，更好地获得物品与物品间的转换关系，有效地提取出用户的兴趣偏好。在此上，能够通过有效地学习用户兴趣，从而提供推荐效果更准确的推荐方法。
本发明的技术方案为一种自注意力机制和图神经网络的电商推荐方法，包含以下步骤：
步骤1，获取目标用户的电商交易数据构成数据集，并对数据集进行预处理，得到有效会话长度的电商交易数据集；
步骤2，根据步骤1所得数据集，根据时间戳生成对应的会话序列和标签作为实验数据集；
步骤3，根据步骤2所得的实验数据集中的会话序列以会话图的形式存储，每一个会话序列S＝[V1,V2,...,Vn]视为一个有向图G＝(V,E)，在会话图中，每个节点都对应一个物品Vi，边(Vi-1,Vi)对应用户在会话中点击了物品Vi-1之后又点击了物品Vi；
步骤4，根据步骤3所得的会话图，对图内边进行权重归一化方法处理，得到归一化会话图；
步骤5，根据步骤4所得归一化会话图，通过图神经网络学习到会话图内节点的向量表示；
步骤6，根据步骤5所得的节点的向量表示，提取出会话S＝[V1，V2，...，Vn]内的局部兴趣向量表示和全局兴趣向量表示；
步骤7，根据步骤6所得的局部兴趣向量表示和全局兴趣向量表示，输入到多头自注意力机制网络中，计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示；
步骤8，将局部兴趣向量表示，全局兴趣向量表示，自注意力局部兴趣向量和自注意力全局兴趣向量表示聚合起来，计算得到混合兴趣的向量表示Vh；
步骤9，根据混合兴趣的向量表示计算出用户在每个物品上的喜爱程度的评分；
步骤10，按照目标用户在每个物品上的喜爱程度，选择用户喜爱程度最高的前k个物品推荐给目标用户。
进一步的，所述步骤4中权重的计算方式如下；
步骤4.1，计算会话图内的每条边(Vi-1，Vi)的出现次数C，每个节点出度Dout，其中某节点出度是指由该节点为起点的边的个数；
步骤4.2，计算每条边的权重，并对图内边的权重归一化，权重的计算公式为：
Figure BDA0002990230260000021
其中，
Figure BDA0002990230260000022
表示边(Vi-1，Vi)的权重，
Figure BDA0002990230260000023
表示边(Vi-1，Vi)的出现次数，
Figure BDA0002990230260000024
表示节点vi-1的出度。
进一步的，步骤5中通过图神经网络学习到会话图内节点的向量表示分为两个步骤，第一步是传播过程，第二步是输出过程；传播过程是指初始化节点表示，然后通过迭代获取节点表示的过程，具体计算公式如下：首先初始化节点表示
Figure BDA0002990230260000025
然后每个节点使用迭代方式更新表示，
Figure BDA0002990230260000026
其中
Figure BDA0002990230260000027
表示节点V在时刻t的向量表示，lV表示节点V，lNeighbor(V)表示节点V的邻居节点，
Figure BDA0002990230260000028
表示节点V的邻居节点的向量表示，f表示一种映射，将时刻t-1的邻居节点的向量表示映射到时刻t的节点V的向量表示；
输出过程是指根据节点表示得到目标输出的过程，具体计算公式如下：
Figure BDA0002990230260000029
其中OV表示节点级别的输出向量表示，
Figure BDA00029902302600000210
表示节点V在时刻t的向量表示，lV表示节点V，g表示一种映射，将节点的向量表示映射成输出向量。
进一步的，所述步骤6中通过提取会话图内兴趣的向量表示来得到用户的局部兴趣和全局兴趣，局部兴趣为某一次点击的节点向量作为局部兴趣的向量表示Vl＝Vn，选取最后一次点击的节点向量作为用户的局部兴趣的向量表示；对于全局兴趣的向量表示，通过对会话S内的所有节点的向量表示进行聚合操作，得到全局兴趣的向量表示，具体计算公式：Vg＝aggregate(V1，V2，...，Vn)；这里的聚合操作包括求和，求平均值，求方差中的任一种。
进一步的，所述步骤7具体包括；
通过将局部兴趣的向量表示Vl和全局兴趣的向量表示Vg分别输入到多头自注意力机制网络中计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示，具体计算公式如：LinearTransformation(V)＝A*V+B，其中V是输入向量，A是权重矩阵，B是偏差向量；
Figure BDA0002990230260000031
对于自注意力机制，其中Q，K，V分别是同一向量表示，d为Q向量的维度，这里将Q，K，V替换成Vl和Vg，分别计算出自注意力局部兴趣向量Vs_l和自注意力全部兴趣向量Vs_g。
进一步的，所述步骤8具体包括，将局部兴趣向量表示，全局兴趣向量表示，自注意力局部兴趣向量和自注意力全局兴趣向量表示聚合起来，计算得到混合兴趣的向量表示Vh，具体计算公式如：Vh＝concat(Vl，Vg，Vs_l，Vs_g)，其中，Vl为局部兴趣的向量表示，Vg为全局兴趣的向量表示，Vs_l为自注意力局部兴趣向量表示，Vs_h为自注意力全局兴趣向量表示。
进一步的，所述步骤9具体包括，将混合兴趣的向量表示Vh输入到softmax函数，得到物品在会话s中成为下一次点击的概率，将该概率值作为对应物品的喜爱程度的评分，具体计算公式如：y＝softmax(Vh)。
本发明的优势在于，能够从用户的历史会话行为数据所构成的会话图中，通过图神经网络有效地捕获了会话内和会话间的物品与物品间的转换关系，更加准确地捕获到用户兴趣。同时，根据提取到的局部兴趣和全局兴趣，由自注意力机制进一步地提取用户兴趣表示，从而提供更加准确的推荐方法。
利用图神经网络能够从用户的历史会话行为数据，通过构成会话图，不仅有效地捕获会话内的物品与物品间的转换关系，还考虑到了会话间的物品与物品间的转换关系，更加准确地捕获到用户的兴趣。同时，根据捕获到的局部兴趣和全局兴趣，通过自注意力机制进一步更好地表示用户的兴趣，从而提供更加准确的推荐方法。
附图说明
图1是本发明实施例的流程图。
图2是本发明实施例构成会话图的示意图。
图3是图神经网络学习到节点向量表示的示意图。
图4是图神经网络进行消息传播的示意图。
图5是本发明实施例计算混合兴趣表示的示意图。
图6是本发明模型结构的示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
步骤1，获取目标用户的电商交易数据构成数据集，并对数据集进行预处理，过滤掉其中会话长度过短和过长的历史交易数据，得到有效会话长度的电商交易数据集；
对目标用户进行个性化推荐，需要基于已有的短会话下进行预处理，对于过长或过短的会话进行筛除。
本实施例中，实验数据集为两个具有代表性的真实数据，Yoochoose数据集和Diginetica数据集。Yoochoose数据集是来自RecSys 2015挑战赛，里面包括了在6个月内，用户在电商网站上的点击数据。Diginetica数据集来自CIMK 2016挑战赛，抽取里面交易数据进行使用。在这里过滤掉两个数据集中物品次数为1次的会话和物品出现次数少于4次的会话，所剩余的7981580个会话和37483个物品构成了Yoochoose数据集，204771个会话和43097个物品构成了Diginetica数据集。并将数据第一行作为表头标记每列数据的特征名，以dat格式进行存储到磁盘上。
步骤2，根据步骤1所得数据集，根据时间戳生成对应的会话序列和标签作为实验数据集；
给实验数据打标签是很重要的一个环节，可以通过打好的标签数据，构建好一个合理的验证集，便于后续实验的正常开展。在这里考虑到是通过已有的会话来预测目标用户在未来下一次的点击与否的情况，所以我们考虑取目标用户的会话S里的前k个物品作为对应用户点击过的序列，第k+1个物品作为数据集里需要预测用来确定是否点击是否的验证集标签，故此形成所需数据集。具体的例子如下，
例如，对于输入的会话S＝[V1,V2,...,Vn]是由用户访问过的一系列物品组成，生成了一系列的序列和标签([V1]，V2)，([V1，V2]，V3)，...，([V1，V2，...，Vn-1]，Vn)其中[V1，V2，...，Vn-1]是生成的序列，Vn是下一个点击的物品，即该序列的标签；
步骤3，根据步骤2所得的实验数据集中的会话序列以会话图的形式存储。每一个会话序列S＝[V1，V2，...，Vn]都可以视为一个有向图G＝(V，E)。在会话图中，每个节点都对应的一个物品Vi，边(Vi-1，Vi)对应用户在会话中点击了物品Vi-1之后又点击了物品Vi；
在已经得到会话对应的序列和标签后，进行一个会话图的构建。封装好一个Data的数据结构，里面分别存储节点特征矩阵，节点索引，训练目标。节点特征矩阵存储每个节点的编号；节点索引以节点对的形式存储边，描述边的连接情况，默认是以有向边的情况存储，无向边则按双向有向边进行存储；训练目标存储图级别的标签。具体例子如下，
例如，对于输入的会话S＝[V1，V2，...，Vn]，其对应的序列和标签是([V1，V2，...，Vn-1]，Vn)
步骤4，根据步骤3所得的会话图，对图内边进行权重归一化方法处理，得到归一化会话图；
一个节点在图内的影响力往往取决于该节点的邻居节点的个数，为了解决对有着较多邻居节点的节点存在的影响力的偏差问题以及考虑到自身节点进行信息自传播的冗余信息情况，在这里通过引入图内边权重归一化方法进行处理，从而减少这些问题在信息传播的过程中带来的不好影响。具体计算公式如下，
Figure BDA0002990230260000051
其中，
Figure BDA0002990230260000052
表示边(Vi-1，Vi)的权重，
Figure BDA0002990230260000053
表示边(Vi-1，Vi)的出现次数，
Figure BDA0002990230260000054
表示节点vi-1的出度，其中某节点出度是指由该节点为起点的边的个数。
步骤5，根据步骤4所得归一化会话图，通过图神经网络学习到会话图内节点的向量表示；
图内节点的向量表示，综合考虑从网络内的结构和节点建模。将输入数据到图神经网络里得到结果，主要可以分为两个步骤，第一步是传播过程，第二步是输出过程。传播过程是指初始化节点表示，然后通过迭代获取节点表示的过程。具体计算公式如下：首先初始化节点表示
Figure BDA0002990230260000055
然后每个节点使用迭代方式更新表示，
Figure BDA0002990230260000056
其中
Figure BDA0002990230260000057
表示节点V在时刻t的向量表示，lV表示节点V，lNeighbor(V)表示节点V的邻居节点，
Figure BDA0002990230260000058
表示节点V的邻居节点的向量表示，f表示一种映射，将时刻t-1的邻居节点的向量表示映射到时刻t的节点V的向量表示，这里是选择通过神经网络映射。
输出过程是指根据节点表示得到目标输出的过程。具体计算公式如下：
Figure BDA0002990230260000059
其中OV表示节点级别的输出向量表示，
Figure BDA0002990230260000061
表示节点V在时刻t的向量表示，lV表示节点V，.g表示一种映射，将节点的向量表示映射成输出向量，这里是选择softmax函数。
步骤6，根据步骤5所得的节点的向量表示，提取出会话S＝[V1，V2，...，Vn]内的局部兴趣向量表示和全局兴趣向量表示；
用户的兴趣表示是对用户个性化表示的描述。通过提取会话图内兴趣的向量表示来得到用户的局部兴趣和全局兴趣。局部兴趣可以选择某一次点击的节点向量作为局部兴趣的向量表示Vl＝Vn，往往选取最后一次点击的节点向量作为用户的局部兴趣的向量表示；全局兴趣的向量表示可以选择用户在会话内遍历过的所有节点的向量表示进行聚合操作，Vg＝aggregate(V1，V2，...，Vn)；这里的聚合操作可以是求和，求平均值，求方差等等。
步骤7，根据步骤6所得的局部兴趣向量表示和全局兴趣向量表示，输入到多头自注意力机制网络中，计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示；
多头自注意力机制是先将输入向量做线性变换映射到不同空间内，再进行自注意力机制的计算，可以看作多个自注意力机制网络的结合。通过将局部兴趣的向量表示Vl和全局兴趣的向量表示Vg分别输入到多头自注意力机制网络中计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示，具体计算公式如：LinearTransformation(V)＝A*V+B，其中V是输入向量，A是权重矩阵，B是偏差向量。
Figure BDA0002990230260000062
对于自注意力机制，其中Q，K，V分别是同一向量表示，d为Q向量的维度，这里我们将Q，K，V替换成Vl和Vg，分别计算出自注意力局部兴趣向量Vs_l和自注意力全部兴趣向量Vs_g。
步骤8，将局部兴趣向量表示，全局兴趣向量表示，自注意力局部兴趣向量和自注意力全局兴趣向量表示聚合起来，计算得到混合兴趣的向量表示Vh；
最后再将得到局部兴趣和全局兴趣的向量表示以及自注意力局部兴趣向量Vs_l和自注意力全局兴趣向量表示Vs_g连接起来，得到混合兴趣的向量表示，具体计算公式为，Vh＝concat(Vl，Vg，Vs_l，Vs_g)。
步骤9，根据混合兴趣的向量表示计算出用户在每个物品上的喜爱程度的评分；
将所有物品的混合兴趣的向量表示Vh输入到softmax函数里，得到对应物品在会话S中成为下一次点击的概率，并将计算所得概率值作为对应物品的喜爱程度的评分，具体计算公式为，y＝softmax(Vh)。
步骤10，按照目标用户在每个物品上的喜爱程度，选择评分高的物品。具体是，选择用户喜爱程度最高的前k个物品推荐给目标用户；
现有协同过滤，矩阵分解等推荐技术普遍存在没有充分利用用户画像，仅仅只是考虑了用户的最后一次曝光/点击，而忽略了以往的点击的相关信息等问题。本发明充分利用了图神经网络能够有效地提取出用户以往的历史会话行为数据，通过构成会话图，不仅有效地捕获会话内的物品与物品间的转换关系，还考虑到了会话间的物品与物品间的转换关系，更加准确地捕获到用户的兴趣。同时，根据局部兴趣，全局兴趣自注意力局部兴趣向量和自注意力全局兴趣向量表示来更好地表示用户的兴趣，且在模型结构上做了更多的创新，更好地解决不能充分提取会话图内的交互信息，且考虑到用户某一短期内的兴趣演化和长期内不同短期的兴趣演化的差异，能更好地提取到这些信息，并解决了用户兴趣提取不够准确和数据稀疏情况下，推荐效果不够准确的问题，从而提供更加准确的推荐方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种自注意力机制和图神经网络的电商推荐方法，其特征在于，包含以下步骤：
步骤1，获取目标用户的电商交易数据构成数据集，并对数据集进行预处理，得到有效会话长度的电商交易数据集；
步骤2，根据步骤1所得数据集，根据时间戳生成对应的会话序列和标签作为实验数据集；
步骤3，根据步骤2所得的实验数据集中的会话序列以会话图的形式存储，每一个会话序列S＝[V1,V2,...,Vn]视为一个有向图G＝(V,E)，在会话图中，每个节点都对应一个物品Vi，边(Vi-1,Vi)对应用户在会话中点击了物品Vi-1之后又点击了物品Vi；
步骤4，根据步骤3所得的会话图，对图内边进行权重归一化方法处理，得到归一化会话图；
步骤5，根据步骤4所得归一化会话图，通过图神经网络学习到会话图内节点的向量表示；
步骤6，根据步骤5所得的节点的向量表示，提取出会话S＝[V1,V2,...,Vn]内的局部兴趣向量表示和全局兴趣向量表示；
步骤7，根据步骤6所得的局部兴趣向量表示和全局兴趣向量表示，输入到多头自注意力机制网络中，计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示；
所述步骤7具体包括；
通过将局部兴趣的向量表示Vl和全局兴趣的向量表示Vg分别输入到多头自注意力机制网络中计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示，具体计算公式如：LinearTransformation(V)＝A*V+B，其中V是输入向量，A是权重矩阵，B是偏差向量；
Figure FDA0003556511780000011
对于自注意力机制，其中Q,K,V分别是同一向量表示，d为Q向量的维度，这里将Q,K,V替换成Vl和Vg，分别计算出自注意力局部兴趣向量Vs_l和自注意力全部兴趣向量Vs_g；
步骤8，将局部兴趣向量表示，全局兴趣向量表示，自注意力局部兴趣向量和自注意力全局兴趣向量表示聚合起来，计算得到混合兴趣的向量表示Vh；
步骤9，根据混合兴趣的向量表示计算出用户在每个物品上的喜爱程度的评分；
步骤10，按照目标用户在每个物品上的喜爱程度，选择用户喜爱程度最高的前k个物品推荐给目标用户。
2.根据权利要求1所述的一种自注意力机制和图神经网络的电商推荐方法，其特征在于：所述步骤4中权重的计算方式如下；
步骤4.1，计算会话图内的每条边(Vi-1,Vi)的出现次数C，每个节点出度Dout，其中某节点出度是指由该节点为起点的边的个数；
步骤4.2，计算每条边的权重，并对图内边的权重归一化，权重的计算公式为：
Figure FDA0003556511780000021
其中，
Figure FDA0003556511780000022
表示边(Vi-1,Vi)的权重，
Figure FDA0003556511780000023
表示边(Vi-1,Vi)的出现次数，
Figure FDA00035565117800000210
表示节点vi-1的出度。
3.根据权利要求1所述的一种自注意力机制和图神经网络的电商推荐方法，其特征在于：步骤5中通过图神经网络学习到会话图内节点的向量表示分为两个步骤，第一步是传播过程，第二步是输出过程；传播过程是指初始化节点表示，然后通过迭代获取节点表示的过程，具体计算公式如下：首先初始化节点表示
Figure FDA0003556511780000024
然后每个节点使用迭代方式更新表示，
Figure FDA0003556511780000025
其中
Figure FDA0003556511780000026
表示节点V在时刻t的向量表示，lV表示节点V，lNeighbor(V)表示节点V的邻居节点，
Figure FDA0003556511780000027
表示节点V的邻居节点的向量表示，f表示一种映射，将时刻t-1的邻居节点的向量表示映射到时刻t的节点V的向量表示；
输出过程是指根据节点表示得到目标输出的过程，具体计算公式如下：
Figure FDA0003556511780000028
其中OV表示节点级别的输出向量表示，
Figure FDA0003556511780000029
表示节点V在时刻t的向量表示，lV表示节点V，g表示一种映射，将节点的向量表示映射成输出向量。
4.根据权利要求1所述的一种自注意力机制和图神经网络的电商推荐方法，其特征在于：所述步骤6中通过提取会话图内兴趣的向量表示来得到用户的局部兴趣和全局兴趣，局部兴趣为某一次点击的节点向量作为局部兴趣的向量表示Vl＝Vn，选取最后一次点击的节点向量作为用户的局部兴趣的向量表示；对于全局兴趣的向量表示，通过对会话S内的所有节点的向量表示进行聚合操作，得到全局兴趣的向量表示，具体计算公式：Vg＝aggregate(V1,V2,…,Vn)；这里的聚合操作包括求和，求平均值，求方差中的任一种。
5.根据权利要求1所述的一种自注意力机制和图神经网络的电商推荐方法，其特征在于：所述步骤8具体包括，将局部兴趣向量表示，全局兴趣向量表示，自注意力局部兴趣向量和自注意力全局兴趣向量表示聚合起来，计算得到混合兴趣的向量表示Vh，具体计算公式如：Vh＝concat(Vl,Vg,Vs_l,Vs_g)，其中，Vl为局部兴趣的向量表示，Vg为全局兴趣的向量表示，Vs_l为自注意力局部兴趣向量表示，Vs_g为自注意力全局兴趣向量表示。
6.根据权利要求1所述的一种自注意力机制和图神经网络的电商推荐方法，其特征在于：所述步骤9具体包括，将混合兴趣的向量表示Vh输入到softmax函数，得到物品在会话s中成为下一次点击的概率，将该概率值作为对应物品的喜爱程度的评分，具体计算公式如：y＝softmax(Vh)。
CN202110312156.3A 2021-03-24 2021-03-24 一种自注意力机制和图神经网络的电商推荐方法 Expired - Fee Related CN112967112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110312156.3A CN112967112B (zh) 2021-03-24 2021-03-24 一种自注意力机制和图神经网络的电商推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110312156.3A CN112967112B (zh) 2021-03-24 2021-03-24 一种自注意力机制和图神经网络的电商推荐方法

Publications (2)

Publication Number Publication Date
CN112967112A CN112967112A (zh) 2021-06-15
CN112967112B true CN112967112B (zh) 2022-04-29

Family

ID=76278294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110312156.3A Expired - Fee Related CN112967112B (zh) 2021-03-24 2021-03-24 一种自注意力机制和图神经网络的电商推荐方法

Country Status (1)

Country Link
CN (1) CN112967112B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496174B (zh) * 2021-06-18 2023-09-26 中山大学 优化网络表示学习的方法、模型训练方法和系统
CN113704441B (zh) * 2021-09-06 2022-06-10 中国计量大学 一种考虑物品和物品属性特征级别重要性的会话推荐方法
CN113935811B (zh) * 2021-10-26 2024-05-14 重庆理工大学 基于主题指导和双全局注意力的会话推荐方法
CN114254194B (zh) * 2021-12-20 2024-04-26 北京工业大学 一种基于注意力的多兴趣序列推荐方法及系统
CN114862496A (zh) * 2022-04-06 2022-08-05 华南理工大学 一种基于用户个性化建模的会话推荐方法、装置及介质
CN114743053B (zh) * 2022-04-14 2023-04-25 电子科技大学 基于图神经网络和自注意力的磁共振影像辅助处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581401A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于深度相关性匹配的局部引文推荐系统及方法
CN112035746A (zh) * 2020-09-01 2020-12-04 湖南大学 一种基于时空序列图卷积网络的会话推荐方法
CN112150210A (zh) * 2020-06-19 2020-12-29 南京理工大学 一种基于ggnn网络的改进型神经网络推荐方法及系统
CN112380863A (zh) * 2020-10-29 2021-02-19 国网天津市电力公司 一种基于多头自注意力机制的序列标注方法
CN112487796A (zh) * 2020-11-27 2021-03-12 北京智源人工智能研究院 一种用于序列标注的方法、装置和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853725B2 (en) * 2018-05-18 2020-12-01 Deepmind Technologies Limited Neural networks with relational memory
CN109034378B (zh) * 2018-09-04 2023-03-31 腾讯科技（深圳）有限公司 神经网络的网络表示生成方法、装置、存储介质和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581401A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于深度相关性匹配的局部引文推荐系统及方法
CN112150210A (zh) * 2020-06-19 2020-12-29 南京理工大学 一种基于ggnn网络的改进型神经网络推荐方法及系统
CN112035746A (zh) * 2020-09-01 2020-12-04 湖南大学 一种基于时空序列图卷积网络的会话推荐方法
CN112380863A (zh) * 2020-10-29 2021-02-19 国网天津市电力公司 一种基于多头自注意力机制的序列标注方法
CN112487796A (zh) * 2020-11-27 2021-03-12 北京智源人工智能研究院 一种用于序列标注的方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图注意力时空神经网络的在线内容流行度预测;鲍鹏等;《模式识别与人工智能》;20191115(第11期);全文 *

Also Published As

Publication number Publication date
CN112967112A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112967112B (zh) 一种自注意力机制和图神经网络的电商推荐方法
CN111681059B (zh) 行为预测模型的训练方法及装置
CN107220365B (zh) 基于协同过滤与关联规则并行处理的精准推荐系统及方法
CN111339415B (zh) 一种基于多交互式注意力网络的点击率预测方法与装置
US11373257B1 (en) Artificial intelligence-based property data linking system
CN111476315B (zh) 一种基于统计相关性与图卷积技术的图像多标签识别方法
Munappy et al. Data management for production quality deep learning models: Challenges and solutions
CN111222332A (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN107368521B (zh) 一种基于大数据和深度学习的知识推介方法及系统
CN112508256B (zh) 一种基于众包的用户需求主动预测方法及系统
CN113706251B (zh) 基于模型的商品推荐方法、装置、计算机设备和存储介质
CN116562992B (zh) 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质
Cao et al. Position-aware context attention for session-based recommendation
US11682039B2 (en) Determining a target group based on product-specific affinity attributes and corresponding weights
CN113361928B (zh) 一种基于异构图注意力网络的众包任务推荐方法
CN112883289B (zh) 一种基于社交信任和标签语义相似度的pmf推荐方法
Zeng et al. Collaborative filtering via heterogeneous neural networks
CN111753151B (zh) 一种基于互联网用户行为的服务推荐方法
US20230245210A1 (en) Knowledge graph-based information recommendation
CN113704439B (zh) 一种基于多来源信息异构图的会话推荐方法
Jose et al. Interpretable click-through rate prediction through distillation of the neural additive factorization model
CN114240539B (zh) 一种基于Tucker分解和知识图谱的商品推荐方法
CN112559905B (zh) 一种基于双模式注意力机制和社交相似度的会话推荐方法
CN113569139A (zh) 一种个性化会话推荐方法和系统
CN114372148A (zh) 一种基于知识图谱技术的数据处理方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220429

CF01 Termination of patent right due to non-payment of annual fee