CN112967112A - 一种自注意力机制和图神经网络的电商推荐方法 - Google Patents
一种自注意力机制和图神经网络的电商推荐方法 Download PDFInfo
- Publication number
- CN112967112A CN112967112A CN202110312156.3A CN202110312156A CN112967112A CN 112967112 A CN112967112 A CN 112967112A CN 202110312156 A CN202110312156 A CN 202110312156A CN 112967112 A CN112967112 A CN 112967112A
- Authority
- CN
- China
- Prior art keywords
- vector
- interest
- self
- node
- vector representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000007246 mechanism Effects 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 164
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 19
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000004931 aggregating effect Effects 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Biophysics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种自注意力机制和图神经网络的电商推荐方法。首先对电商交易数据进行预处理,提取到符合要求的会话,并生成序列和标签构成实验所用的数据集;根据预处理得到的数据集,构成会话图进行权重归一化处理后,输入到图神经网络里得到图内节点向量表示;最后从图内节点的向量表示提取出局部兴趣向量表示和全局向量表示,然后对局部兴趣向量表示和全局向量表示分别使用自注意力机制,得到对应局部自注意力向量和全局自注意力向量,并将这些向量聚合起来,得到混合兴趣的向量表示,用于给用户推荐喜欢的高评分物品。本发明充分考虑到用户以往的点击的相关信息,提供了一种效果更好的推荐方法。
Description
技术领域
本发明属于数据挖掘应用中的个性化推荐技术领域,特别是涉及一种自注意力机制和图神经网络的电商推荐方法。
背景技术
当前,在海量数据的时代下,伴随着对于用户存在的信息茧房问题,如何基于用户的历史数据下,提供有效的个性化推荐结果是有待解决的重要问题。采用科学且有效的方法对数据进行挖掘提取出用户兴趣并生成合适的个性化推荐系统,是解决这一问题的主要手段。
与上述不同的是,实际工作中的用户历史行为数据往往是过长的,但面临海量数据、低延时、计算资源有限情况,即不得不将推荐算法建立在一个短会话的情况下,但同时这种将会话看成为序列化信息而提取,是没有完全考虑到不同物品的转换情况,故在这里提出一种利用图神经网络,构成会话图,通过图中物品与物品间的转换关系,即节点与节点的共现关系,来捕获更准确的物品向量表示。同时,通过自注意力机制更准确地提取出该会话内的对于物品的兴趣,也将更好地捕捉用户偏好。故提出一个基于自注意力机制和图神经网络的推荐方法。
发明内容
本发明的目的是克服没有充分利用用户画像和用户的以往的信息,会话图中物品和物品的转换关系提取不准确的不足,本发明通过自注意力机制和图神经网络对物品向量表示进行更准确的捕获,更好地获得物品与物品间的转换关系,有效地提取出用户的兴趣偏好。在此上,能够通过有效地学习用户兴趣,从而提供推荐效果更准确的推荐方法。
本发明的技术方案为一种自注意力机制和图神经网络的电商推荐方法,包含以下步骤:
步骤1,获取目标用户的电商交易数据构成数据集,并对数据集进行预处理,得到有效会话长度的电商交易数据集;
步骤2,根据步骤1所得数据集,根据时间戳生成对应的会话序列和标签作为实验数据集;
步骤3,根据步骤2所得的实验数据集中的会话序列以会话图的形式存储,每一个会话序列S=[V1,V2,...,Vn]视为一个有向图G=(V,E),在会话图中,每个节点都对应一个物品Vi,边(Vi-1,Vi)对应用户在会话中点击了物品Vi-1之后又点击了物品Vi;
步骤4,根据步骤3所得的会话图,对图内边进行权重归一化方法处理,得到归一化会话图;
步骤5,根据步骤4所得归一化会话图,通过图神经网络学习到会话图内节点的向量表示;
步骤6,根据步骤5所得的节点的向量表示,提取出会话S=[V1,V2,...,Vn]内的局部兴趣向量表示和全局兴趣向量表示;
步骤7,根据步骤6所得的局部兴趣向量表示和全局兴趣向量表示,输入到多头自注意力机制网络中,计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示;
步骤8,将局部兴趣向量表示,全局兴趣向量表示,自注意力局部兴趣向量和自注意力全局兴趣向量表示聚合起来,计算得到混合兴趣的向量表示Vh;
步骤9,根据混合兴趣的向量表示计算出用户在每个物品上的喜爱程度的评分;
步骤10,按照目标用户在每个物品上的喜爱程度,选择用户喜爱程度最高的前k个物品推荐给目标用户。
进一步的,所述步骤4中权重的计算方式如下;
步骤4.1,计算会话图内的每条边(Vi-1,Vi)的出现次数C,每个节点出度Dout,其中某节点出度是指由该节点为起点的边的个数;
步骤4.2,计算每条边的权重,并对图内边的权重归一化,权重的计算公式为:
进一步的,步骤5中通过图神经网络学习到会话图内节点的向量表示分为两个步骤,第一步是传播过程,第二步是输出过程;传播过程是指初始化节点表示,然后通过迭代获取节点表示的过程,具体计算公式如下:首先初始化节点表示然后每个节点使用迭代方式更新表示,其中表示节点V在时刻t的向量表示,lV表示节点V,lNeighbor(V)表示节点V的邻居节点,表示节点V的邻居节点的向量表示,f表示一种映射,将时刻t-1的邻居节点的向量表示映射到时刻t的节点V的向量表示;
进一步的,所述步骤6中通过提取会话图内兴趣的向量表示来得到用户的局部兴趣和全局兴趣,局部兴趣为某一次点击的节点向量作为局部兴趣的向量表示Vl=Vn,选取最后一次点击的节点向量作为用户的局部兴趣的向量表示;对于全局兴趣的向量表示,通过对会话S内的所有节点的向量表示进行聚合操作,得到全局兴趣的向量表示,具体计算公式:Vg=aggregate(V1,V2,...,Vn);这里的聚合操作包括求和,求平均值,求方差中的任一种。
进一步的,所述步骤7具体包括;
通过将局部兴趣的向量表示Vl和全局兴趣的向量表示Vg分别输入到多头自注意力机制网络中计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示,具体计算公式如:LinearTransformation(V)=A*V+B,其中V是输入向量,A是权重矩阵,B是偏差向量;对于自注意力机制,其中Q,K,V分别是同一向量表示,d为Q向量的维度,这里将Q,K,V替换成Vl和Vg,分别计算出自注意力局部兴趣向量Vs_l和自注意力全部兴趣向量Vs_g。
进一步的,所述步骤8具体包括,将局部兴趣向量表示,全局兴趣向量表示,自注意力局部兴趣向量和自注意力全局兴趣向量表示聚合起来,计算得到混合兴趣的向量表示Vh,具体计算公式如:Vh=concat(Vl,Vg,Vs_l,Vs_g),其中,Vl为局部兴趣的向量表示,Vg为全局兴趣的向量表示,Vs_l为自注意力局部兴趣向量表示,Vs_h为自注意力全局兴趣向量表示。
进一步的,所述步骤9具体包括,将混合兴趣的向量表示Vh输入到softmax函数,得到物品在会话s中成为下一次点击的概率,将该概率值作为对应物品的喜爱程度的评分,具体计算公式如:y=softmax(Vh)。
本发明的优势在于,能够从用户的历史会话行为数据所构成的会话图中,通过图神经网络有效地捕获了会话内和会话间的物品与物品间的转换关系,更加准确地捕获到用户兴趣。同时,根据提取到的局部兴趣和全局兴趣,由自注意力机制进一步地提取用户兴趣表示,从而提供更加准确的推荐方法。
利用图神经网络能够从用户的历史会话行为数据,通过构成会话图,不仅有效地捕获会话内的物品与物品间的转换关系,还考虑到了会话间的物品与物品间的转换关系,更加准确地捕获到用户的兴趣。同时,根据捕获到的局部兴趣和全局兴趣,通过自注意力机制进一步更好地表示用户的兴趣,从而提供更加准确的推荐方法。
附图说明
图1是本发明实施例的流程图。
图2是本发明实施例构成会话图的示意图。
图3是图神经网络学习到节点向量表示的示意图。
图4是图神经网络进行消息传播的示意图。
图5是本发明实施例计算混合兴趣表示的示意图。
图6是本发明模型结构的示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
步骤1,获取目标用户的电商交易数据构成数据集,并对数据集进行预处理,过滤掉其中会话长度过短和过长的历史交易数据,得到有效会话长度的电商交易数据集;
对目标用户进行个性化推荐,需要基于已有的短会话下进行预处理,对于过长或过短的会话进行筛除。
本实施例中,实验数据集为两个具有代表性的真实数据,Yoochoose数据集和Diginetica数据集。Yoochoose数据集是来自RecSys 2015挑战赛,里面包括了在6个月内,用户在电商网站上的点击数据。Diginetica数据集来自CIMK 2016挑战赛,抽取里面交易数据进行使用。在这里过滤掉两个数据集中物品次数为1次的会话和物品出现次数少于4次的会话,所剩余的7981580个会话和37483个物品构成了Yoochoose数据集,204771个会话和43097个物品构成了Diginetica数据集。并将数据第一行作为表头标记每列数据的特征名,以dat格式进行存储到磁盘上。
步骤2,根据步骤1所得数据集,根据时间戳生成对应的会话序列和标签作为实验数据集;
给实验数据打标签是很重要的一个环节,可以通过打好的标签数据,构建好一个合理的验证集,便于后续实验的正常开展。在这里考虑到是通过已有的会话来预测目标用户在未来下一次的点击与否的情况,所以我们考虑取目标用户的会话S里的前k个物品作为对应用户点击过的序列,第k+1个物品作为数据集里需要预测用来确定是否点击是否的验证集标签,故此形成所需数据集。具体的例子如下,
例如,对于输入的会话S=[V1,V2,...,Vn]是由用户访问过的一系列物品组成,生成了一系列的序列和标签([V1],V2),([V1,V2],V3),...,([V1,V2,...,Vn-1],Vn)其中[V1,V2,...,Vn-1]是生成的序列,Vn是下一个点击的物品,即该序列的标签;
步骤3,根据步骤2所得的实验数据集中的会话序列以会话图的形式存储。每一个会话序列S=[V1,V2,...,Vn]都可以视为一个有向图G=(V,E)。在会话图中,每个节点都对应的一个物品Vi,边(Vi-1,Vi)对应用户在会话中点击了物品Vi-1之后又点击了物品Vi;
在已经得到会话对应的序列和标签后,进行一个会话图的构建。封装好一个Data的数据结构,里面分别存储节点特征矩阵,节点索引,训练目标。节点特征矩阵存储每个节点的编号;节点索引以节点对的形式存储边,描述边的连接情况,默认是以有向边的情况存储,无向边则按双向有向边进行存储;训练目标存储图级别的标签。具体例子如下,
例如,对于输入的会话S=[V1,V2,...,Vn],其对应的序列和标签是([V1,V2,...,Vn-1],Vn)
步骤4,根据步骤3所得的会话图,对图内边进行权重归一化方法处理,得到归一化会话图;
一个节点在图内的影响力往往取决于该节点的邻居节点的个数,为了解决对有着较多邻居节点的节点存在的影响力的偏差问题以及考虑到自身节点进行信息自传播的冗余信息情况,在这里通过引入图内边权重归一化方法进行处理,从而减少这些问题在信息传播的过程中带来的不好影响。具体计算公式如下,其中,表示边(Vi-1,Vi)的权重,表示边(Vi-1,Vi)的出现次数,表示节点vi-1的出度,其中某节点出度是指由该节点为起点的边的个数。
步骤5,根据步骤4所得归一化会话图,通过图神经网络学习到会话图内节点的向量表示;
图内节点的向量表示,综合考虑从网络内的结构和节点建模。将输入数据到图神经网络里得到结果,主要可以分为两个步骤,第一步是传播过程,第二步是输出过程。传播过程是指初始化节点表示,然后通过迭代获取节点表示的过程。具体计算公式如下:首先初始化节点表示然后每个节点使用迭代方式更新表示,其中表示节点V在时刻t的向量表示,lV表示节点V,lNeighbor(V)表示节点V的邻居节点,表示节点V的邻居节点的向量表示,f表示一种映射,将时刻t-1的邻居节点的向量表示映射到时刻t的节点V的向量表示,这里是选择通过神经网络映射。
输出过程是指根据节点表示得到目标输出的过程。具体计算公式如下:其中OV表示节点级别的输出向量表示,表示节点V在时刻t的向量表示,lV表示节点V,.g表示一种映射,将节点的向量表示映射成输出向量,这里是选择softmax函数。
步骤6,根据步骤5所得的节点的向量表示,提取出会话S=[V1,V2,...,Vn]内的局部兴趣向量表示和全局兴趣向量表示;
用户的兴趣表示是对用户个性化表示的描述。通过提取会话图内兴趣的向量表示来得到用户的局部兴趣和全局兴趣。局部兴趣可以选择某一次点击的节点向量作为局部兴趣的向量表示Vl=Vn,往往选取最后一次点击的节点向量作为用户的局部兴趣的向量表示;全局兴趣的向量表示可以选择用户在会话内遍历过的所有节点的向量表示进行聚合操作,Vg=aggregate(V1,V2,...,Vn);这里的聚合操作可以是求和,求平均值,求方差等等。
步骤7,根据步骤6所得的局部兴趣向量表示和全局兴趣向量表示,输入到多头自注意力机制网络中,计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示;
多头自注意力机制是先将输入向量做线性变换映射到不同空间内,再进行自注意力机制的计算,可以看作多个自注意力机制网络的结合。通过将局部兴趣的向量表示Vl和全局兴趣的向量表示Vg分别输入到多头自注意力机制网络中计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示,具体计算公式如:LinearTransformation(V)=A*V+B,其中V是输入向量,A是权重矩阵,B是偏差向量。对于自注意力机制,其中Q,K,V分别是同一向量表示,d为Q向量的维度,这里我们将Q,K,V替换成Vl和Vg,分别计算出自注意力局部兴趣向量Vs_l和自注意力全部兴趣向量Vs_g。
步骤8,将局部兴趣向量表示,全局兴趣向量表示,自注意力局部兴趣向量和自注意力全局兴趣向量表示聚合起来,计算得到混合兴趣的向量表示Vh;
最后再将得到局部兴趣和全局兴趣的向量表示以及自注意力局部兴趣向量Vs_l和自注意力全局兴趣向量表示Vs_g连接起来,得到混合兴趣的向量表示,具体计算公式为,Vh=concat(Vl,Vg,Vs_l,Vs_g)。
步骤9,根据混合兴趣的向量表示计算出用户在每个物品上的喜爱程度的评分;
将所有物品的混合兴趣的向量表示Vh输入到softmax函数里,得到对应物品在会话S中成为下一次点击的概率,并将计算所得概率值作为对应物品的喜爱程度的评分,具体计算公式为,y=softmax(Vh)。
步骤10,按照目标用户在每个物品上的喜爱程度,选择评分高的物品。具体是,选择用户喜爱程度最高的前k个物品推荐给目标用户;
现有协同过滤,矩阵分解等推荐技术普遍存在没有充分利用用户画像,仅仅只是考虑了用户的最后一次曝光/点击,而忽略了以往的点击的相关信息等问题。本发明充分利用了图神经网络能够有效地提取出用户以往的历史会话行为数据,通过构成会话图,不仅有效地捕获会话内的物品与物品间的转换关系,还考虑到了会话间的物品与物品间的转换关系,更加准确地捕获到用户的兴趣。同时,根据局部兴趣,全局兴趣自注意力局部兴趣向量和自注意力全局兴趣向量表示来更好地表示用户的兴趣,且在模型结构上做了更多的创新,更好地解决不能充分提取会话图内的交互信息,且考虑到用户某一短期内的兴趣演化和长期内不同短期的兴趣演化的差异,能更好地提取到这些信息,并解决了用户兴趣提取不够准确和数据稀疏情况下,推荐效果不够准确的问题,从而提供更加准确的推荐方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种自注意力机制和图神经网络的电商推荐方法,其特征在于,包含以下步骤:
步骤1,获取目标用户的电商交易数据构成数据集,并对数据集进行预处理,得到有效会话长度的电商交易数据集;
步骤2,根据步骤1所得数据集,根据时间戳生成对应的会话序列和标签作为实验数据集;
步骤3,根据步骤2所得的实验数据集中的会话序列以会话图的形式存储,每一个会话序列S=[V1,V2,...,Vn]视为一个有向图G=(V,E),在会话图中,每个节点都对应一个物品Vi,边(Vi-1,Vi)对应用户在会话中点击了物品Vi-1之后又点击了物品Vi;
步骤4,根据步骤3所得的会话图,对图内边进行权重归一化方法处理,得到归一化会话图;
步骤5,根据步骤4所得归一化会话图,通过图神经网络学习到会话图内节点的向量表示;
步骤6,根据步骤5所得的节点的向量表示,提取出会话S=[V1,V2,...,Vn]内的局部兴趣向量表示和全局兴趣向量表示;
步骤7,根据步骤6所得的局部兴趣向量表示和全局兴趣向量表示,输入到多头自注意力机制网络中,计算得到自注意力局部兴趣向量和自注意力全局兴趣向量表示;
步骤8,将局部兴趣向量表示,全局兴趣向量表示,自注意力局部兴趣向量和自注意力全局兴趣向量表示聚合起来,计算得到混合兴趣的向量表示Vh;
步骤9,根据混合兴趣的向量表示计算出用户在每个物品上的喜爱程度的评分;
步骤10,按照目标用户在每个物品上的喜爱程度,选择用户喜爱程度最高的前k个物品推荐给目标用户。
3.根据权利要求书1所述的一种自注意力机制和图神经网络的电商推荐方法,其特征在于:步骤5中通过图神经网络学习到会话图内节点的向量表示分为两个步骤,第一步是传播过程,第二步是输出过程;传播过程是指初始化节点表示,然后通过迭代获取节点表示的过程,具体计算公式如下:首先初始化节点表示然后每个节点使用迭代方式更新表示,其中表示节点V在时刻t的向量表示,lV表示节点V,lNeighbor(V)表示节点V的邻居节点,表示节点V的邻居节点的向量表示,f表示一种映射,将时刻t-1的邻居节点的向量表示映射到时刻t的节点V的向量表示;
4.根据权利要求书1所述的一种自注意力机制和图神经网络的电商推荐方法,其特征在于:所述步骤6中通过提取会话图内兴趣的向量表示来得到用户的局部兴趣和全局兴趣,局部兴趣为某一次点击的节点向量作为局部兴趣的向量表示Vl=Vn,选取最后一次点击的节点向量作为用户的局部兴趣的向量表示;对于全局兴趣的向量表示,通过对会话S内的所有节点的向量表示进行聚合操作,得到全局兴趣的向量表示,具体计算公式:Vg=aggregate(V1,V2,…,Vn);这里的聚合操作包括求和,求平均值,求方差中的任一种。
6.根据权利要求书1所述的一种自注意力机制和图神经网络的电商推荐方法,其特征在于:所述步骤8具体包括,将局部兴趣向量表示,全局兴趣向量表示,自注意力局部兴趣向量和自注意力全局兴趣向量表示聚合起来,计算得到混合兴趣的向量表示Vh,具体计算公式如:Vh=concat(Vl,Vg,Vs_l,Vs_g),其中,Vl为局部兴趣的向量表示,Vg为全局兴趣的向量表示,Vs_l为自注意力局部兴趣向量表示,Vs_g为自注意力全局兴趣向量表示。
7.根据权利要求书1所述的一种自注意力机制和图神经网络的电商推荐方法,其特征在于:所述步骤9具体包括,将混合兴趣的向量表示Vh输入到softmax函数,得到物品在会话s中成为下一次点击的概率,将该概率值作为对应物品的喜爱程度的评分,具体计算公式如:y=softmax(Vh)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110312156.3A CN112967112B (zh) | 2021-03-24 | 2021-03-24 | 一种自注意力机制和图神经网络的电商推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110312156.3A CN112967112B (zh) | 2021-03-24 | 2021-03-24 | 一种自注意力机制和图神经网络的电商推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112967112A true CN112967112A (zh) | 2021-06-15 |
CN112967112B CN112967112B (zh) | 2022-04-29 |
Family
ID=76278294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110312156.3A Expired - Fee Related CN112967112B (zh) | 2021-03-24 | 2021-03-24 | 一种自注意力机制和图神经网络的电商推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112967112B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113704441A (zh) * | 2021-09-06 | 2021-11-26 | 中国计量大学 | 一种考虑物品和物品属性特征级别重要性的会话推荐方法 |
CN113935811A (zh) * | 2021-10-26 | 2022-01-14 | 重庆理工大学 | 基于主题指导和双全局注意力的会话推荐方法 |
CN114254194A (zh) * | 2021-12-20 | 2022-03-29 | 北京工业大学 | 一种基于注意力的多兴趣序列推荐方法及系统 |
CN114743053A (zh) * | 2022-04-14 | 2022-07-12 | 电子科技大学 | 基于图神经网络和自注意力的磁共振影像辅助处理系统 |
CN114862496A (zh) * | 2022-04-06 | 2022-08-05 | 华南理工大学 | 一种基于用户个性化建模的会话推荐方法、装置及介质 |
CN115496174A (zh) * | 2021-06-18 | 2022-12-20 | 中山大学 | 优化网络表示学习的方法、模型训练方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190354858A1 (en) * | 2018-05-18 | 2019-11-21 | Mike Chrzanowski | Neural Networks with Relational Memory |
CN111581401A (zh) * | 2020-05-06 | 2020-08-25 | 西安交通大学 | 一种基于深度相关性匹配的局部引文推荐系统及方法 |
CN112035746A (zh) * | 2020-09-01 | 2020-12-04 | 湖南大学 | 一种基于时空序列图卷积网络的会话推荐方法 |
CN112150210A (zh) * | 2020-06-19 | 2020-12-29 | 南京理工大学 | 一种基于ggnn网络的改进型神经网络推荐方法及系统 |
US20210042603A1 (en) * | 2018-09-04 | 2021-02-11 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus, and storage medium for generating network representation for neural network |
CN112380863A (zh) * | 2020-10-29 | 2021-02-19 | 国网天津市电力公司 | 一种基于多头自注意力机制的序列标注方法 |
CN112487796A (zh) * | 2020-11-27 | 2021-03-12 | 北京智源人工智能研究院 | 一种用于序列标注的方法、装置和电子设备 |
-
2021
- 2021-03-24 CN CN202110312156.3A patent/CN112967112B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190354858A1 (en) * | 2018-05-18 | 2019-11-21 | Mike Chrzanowski | Neural Networks with Relational Memory |
US20210042603A1 (en) * | 2018-09-04 | 2021-02-11 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus, and storage medium for generating network representation for neural network |
CN111581401A (zh) * | 2020-05-06 | 2020-08-25 | 西安交通大学 | 一种基于深度相关性匹配的局部引文推荐系统及方法 |
CN112150210A (zh) * | 2020-06-19 | 2020-12-29 | 南京理工大学 | 一种基于ggnn网络的改进型神经网络推荐方法及系统 |
CN112035746A (zh) * | 2020-09-01 | 2020-12-04 | 湖南大学 | 一种基于时空序列图卷积网络的会话推荐方法 |
CN112380863A (zh) * | 2020-10-29 | 2021-02-19 | 国网天津市电力公司 | 一种基于多头自注意力机制的序列标注方法 |
CN112487796A (zh) * | 2020-11-27 | 2021-03-12 | 北京智源人工智能研究院 | 一种用于序列标注的方法、装置和电子设备 |
Non-Patent Citations (1)
Title |
---|
鲍鹏等: "基于图注意力时空神经网络的在线内容流行度预测", 《模式识别与人工智能》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115496174A (zh) * | 2021-06-18 | 2022-12-20 | 中山大学 | 优化网络表示学习的方法、模型训练方法和系统 |
CN115496174B (zh) * | 2021-06-18 | 2023-09-26 | 中山大学 | 优化网络表示学习的方法、模型训练方法和系统 |
CN113704441A (zh) * | 2021-09-06 | 2021-11-26 | 中国计量大学 | 一种考虑物品和物品属性特征级别重要性的会话推荐方法 |
CN113935811A (zh) * | 2021-10-26 | 2022-01-14 | 重庆理工大学 | 基于主题指导和双全局注意力的会话推荐方法 |
CN113935811B (zh) * | 2021-10-26 | 2024-05-14 | 重庆理工大学 | 基于主题指导和双全局注意力的会话推荐方法 |
CN114254194A (zh) * | 2021-12-20 | 2022-03-29 | 北京工业大学 | 一种基于注意力的多兴趣序列推荐方法及系统 |
CN114254194B (zh) * | 2021-12-20 | 2024-04-26 | 北京工业大学 | 一种基于注意力的多兴趣序列推荐方法及系统 |
CN114862496A (zh) * | 2022-04-06 | 2022-08-05 | 华南理工大学 | 一种基于用户个性化建模的会话推荐方法、装置及介质 |
CN114743053A (zh) * | 2022-04-14 | 2022-07-12 | 电子科技大学 | 基于图神经网络和自注意力的磁共振影像辅助处理系统 |
CN114743053B (zh) * | 2022-04-14 | 2023-04-25 | 电子科技大学 | 基于图神经网络和自注意力的磁共振影像辅助处理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112967112B (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112967112B (zh) | 一种自注意力机制和图神经网络的电商推荐方法 | |
CN111681059B (zh) | 行为预测模型的训练方法及装置 | |
Shao et al. | IoT data visualization for business intelligence in corporate finance | |
CN107220365B (zh) | 基于协同过滤与关联规则并行处理的精准推荐系统及方法 | |
CN111222332B (zh) | 一种结合注意力网络和用户情感的商品推荐方法 | |
CN111476315B (zh) | 一种基于统计相关性与图卷积技术的图像多标签识别方法 | |
Zhang et al. | Neural time-aware sequential recommendation by jointly modeling preference dynamics and explicit feature couplings | |
CN111339415A (zh) | 一种基于多交互式注意力网络的点击率预测方法与装置 | |
CN107368521B (zh) | 一种基于大数据和深度学习的知识推介方法及系统 | |
CN114817663B (zh) | 一种基于类别感知图神经网络的服务建模与推荐方法 | |
CN112508256B (zh) | 一种基于众包的用户需求主动预测方法及系统 | |
CN116562992B (zh) | 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质 | |
US11682040B2 (en) | Determining a target group based on product-specific affinity attributes and corresponding weights | |
CN113361928B (zh) | 一种基于异构图注意力网络的众包任务推荐方法 | |
CN115423037A (zh) | 一种基于大数据的用户分类方法及系统 | |
CN112883289B (zh) | 一种基于社交信任和标签语义相似度的pmf推荐方法 | |
Zeng et al. | Collaborative filtering via heterogeneous neural networks | |
Schneider et al. | Getting the bugs out of AI: Advancing ecological research on arthropods through computer vision | |
CN111753151B (zh) | 一种基于互联网用户行为的服务推荐方法 | |
US20230245210A1 (en) | Knowledge graph-based information recommendation | |
CN113704439B (zh) | 一种基于多来源信息异构图的会话推荐方法 | |
CN114240539B (zh) | 一种基于Tucker分解和知识图谱的商品推荐方法 | |
Jose et al. | Interpretable click-through rate prediction through distillation of the neural additive factorization model | |
CN112559905B (zh) | 一种基于双模式注意力机制和社交相似度的会话推荐方法 | |
CN115618926A (zh) | 一种面向纳税人企业分类的重要因子提取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220429 |
|
CF01 | Termination of patent right due to non-payment of annual fee |