CN111080400A - 一种基于门控图卷积网络的商品推荐方法及系统、存储介质 - Google Patents
一种基于门控图卷积网络的商品推荐方法及系统、存储介质 Download PDFInfo
- Publication number
- CN111080400A CN111080400A CN201911164202.9A CN201911164202A CN111080400A CN 111080400 A CN111080400 A CN 111080400A CN 201911164202 A CN201911164202 A CN 201911164202A CN 111080400 A CN111080400 A CN 111080400A
- Authority
- CN
- China
- Prior art keywords
- conversation
- commodity
- embedded
- commodities
- embedded representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000014509 gene expression Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims abstract description 6
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0603—Catalogue ordering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于门控图卷积网络的商品推荐方法,包括:将会话序列建模为无向图;无向图中,一个顶点代表一个商品,每条边代表用户在会话的连续两次点击中点击了边两端的商品,根据每条边在会话中出现的次数赋予每条边相应次数的权重;将会话序列中所有会话中的商品初始化到一个统一的嵌入空间中,得到每个会话中的商品的嵌入表示,通过图卷积网络和门控循环单元学习会话中商品的嵌入表示;根据学习到的会话中商品的嵌入表示,对会话的嵌入表示进行学习;根据得到的所有商品的嵌入表示,以及每个会话的嵌入表示,将之进行相乘,然后通过softmax函数进行归一化处理,得到针对每个会话所有商品的推荐分数,根据所述推荐分数进行商品推荐。
Description
技术领域
本发明涉及深度学习技术领域,更具体地,涉及一种基于门控图卷积网络的商品推荐方法及系统、存储介质。
背景技术
随着互联网上信息量的快速增长,推荐系统能够帮助用户缓解信息过载的问题,进而有效帮助用户在众多网页应用程序中(比如:搜索、电子商务、媒体流网站等)选择自己感兴趣的信息。大多数现有的推荐系统都假设一个前提:用户画像(user profile)和历史活动信息是被不断记录的。
然而实际上,在许多服务中,用户的信息可能是未知的,并且只有处于当前正在进行的会话中的用户历史行为可用。会话(session)是服务器端用来记录识别用户的一种机制,典型的场景比如购物车,服务端为特定的对象创建了特定的会话,用于标识这个对象,并且跟踪用户的浏览点击行为。会话在这里可以被理解为具有时序关系的一些记录序列。比如一个会话可以代表一个用户在一个网站点击的商品的序列。在一个会话中,能对有限的行为进行建模并相应地生成推荐是非常重要的。但是在这种场景下,需要依靠丰富的用户-商品交互信息的传统推荐系统无法产生令人满意的推荐结果。因此一些研究人员提出了基于会话的推荐方法。
Shani等人在UAI2002会议提出基于马尔科夫链的推荐模型,该模型用四元组<S,A,P,R>(S:状态,A:动作,P:转移概率,R:奖励函数)刻画序列信息,通过状态转移概率计算下一个点击的概率,但这个模型状态的数量很大,计算量很大。相比于传统的推荐问题,基于会话的推荐问题的不同点在于如何利用用户的短期会话交互信息数据来预测用户可能会感兴趣的内容。基于会话的推荐可以建模为序列化问题,也就是基于用户的短期历史活动记录来预测用户下一时刻可能会感兴趣的内容并点击阅览。而深度学习中的RNN模型正是一类用于处理序列数据的神经网络。随着序列的不断推进,RNN模型中靠前的隐藏层将会影响后面的隐藏层。于是将用户的历史记录交互数据作为输入,经过多层神经网络,达到预测用户兴趣的目的。Hidasi等人在ICLR2016会议中第一次提出将循环神经网络方法应用于基于会话的推荐问题中。Li等人在CIKM2017会议中提出了一种模型NARM,该模型通过GRU最后一步的输出来捕捉用户的序列行为,通过GRU每一步的输出并通过注意力机制来捕捉用户的主要目的。类似于NARM,Liu等人在KDD2018会议中提出一种模型STAMP,该模型采用简单的MLP网络考虑会话最后一个点击捕捉用户的当前兴趣,以及利用整个序列信息通过注意力机制来捕捉用户的一般兴趣。虽然以上这些模型也达到了不错的预测结果。但是这些模型也有一些不足。第一点是通常RNN方法中的隐藏变量被作为用户表示,进一步基于用户表示得到推荐结果。但是在基于会话的推荐系统中,会话通常是匿名的且数量众多的,并且会话点击中涉及的用户行为通常是有限的,因此这些模型难以从每个会话准确的估计每个用户表示(user representation),进而生成有效推荐内容。第二点是商品之间的转换模式是很重要的,但是这些方法只是考虑了连续的商品间的单方向转换,不能够得到用户的精确表示以及忽略了商品中复杂的转换特性。
图神经网络的迅速发展及其广阔的应用前景吸引了不少研究者的关注。ShuWu等人在AAAI2019会议中提出一种基于图神经网络的推荐模型SRGNN。该模型将一个会话看作一个有向图,同时构建两个矩阵:出度矩阵和入度矩阵。利用已有的门控图神经网络,学习每个商品的嵌入表示,接着对会话中的商品考虑全局注意力机制和会话中最后一个商品的信息,得到每个会话的嵌入表示,进一步进行商品推荐。然而,该模型也有两处不足。第一点将会话看作有向图构建的出度矩阵和入度矩阵,往往很稀疏,而且每个会话都需要保存两个矩阵,耗费空间资源。第二点对每个会话的嵌入表示考虑局部信息时,只考虑了每个会话最后一个商品的嵌入表示,没有充分利用每个会话中商品的信息。
发明内容
本发明的目的是提供一种基于门控图卷积网络的商品推荐方法,将图卷积网络应用于商品推荐中,把会话的序列信息构建成图,通过图卷积网络和门控循环单元学习商品的嵌入表示,进一步利用商品的嵌入表示学习会话的嵌入表示,最后通过会话嵌入表示和所有商品嵌入表示为所有商品打分然后进行推荐,该方法为基于会话的商品推荐提供了一种新的思路。
为实现以上发明目的,采用的技术方案是:
一种基于门控图卷积网络的商品推荐方法,包括:
将会话序列建模为无向图;无向图中,一个顶点代表一个商品,每条边代表用户在会话的连续两次点击中点击了边两端的商品,根据每条边在会话中出现的次数赋予每条边相应次数的权重;
将会话序列中所有会话中的商品初始化到一个统一的嵌入空间中,得到每个会话中的商品的嵌入表示,通过图卷积网络和门控循环单元学习会话中商品的嵌入表示;
根据学习到的会话中商品的嵌入表示,对会话的嵌入表示进行学习;
根据得到的所有商品的嵌入表示,以及每个会话的嵌入表示,将之进行相乘,然后通过softmax函数进行归一化处理,得到针对每个会话所有商品的推荐分数,根据所述推荐分数进行商品推荐。
优选地,所述学习商品的嵌入表示的具体过程如下:
对于单个会话s,具体操作由如下公式表示:
rs=σ(GsWir+bir+XsWhr+bhr)
zs=σ(GsWiz+biz+XsWhz+bhz)
ns=tanh(GsWin+bin+(Xs*rs)Whn+bhn)
Vs=(1-zs)*Xs+zs*ns
其中其中As∈Rn×n为根据会话序列s构建的无向图得到的带权邻接矩阵,包含了会话图中商品顶点之间的连接信息,其中n为会话s中不同商品的个数,为的度矩阵,其对角线上每个元素表示将会话图中每个商品顶点的与所有商品顶点的连接信息求和,为将归一化后的结果;Xs∈Rn×h为会话s中不同商品的初始化嵌入表示,h为统一的嵌入维度,即每个商品初始为一个h维向量表示;W0∈Rh×h、W1∈Rh ×h为可学习的参数矩阵;ReLU(·)为线性整流函数,σ(·)为sigmoid函数,tanh(·)为双曲正切函数,*为Hadamard积;Gs为Xs经过两层图卷积后的结果,其中每一行表示每个商品经过图卷积信息传播后的商品嵌入表示,Wir,Whr,Wiz,Whz,Win,Whn∈Rh×h,bir,bhr,biz,bhz,bin,bhn∈Rn×1为可学习的参数矩阵,将Gs和Xs代入门控循环单元公式可以得到会话s中不同商品嵌入表示Vs∈Rn×h,其中rs和zs为重置门和更新门,分别控制商品嵌入表示信息的遗忘和更新,ns为商品的嵌入表示的候选状态信息。
优选地,所述会话的嵌入表示的学习过程具体如下:
求取会话的邻近嵌入表示、局部嵌入表示、全局嵌入表示,将全局嵌入表示、局部嵌入表示、邻近嵌入表示进行拼接并经过一个线性转换得到混合嵌入表示作为会话的嵌入表示。
优选地,所述会话的邻近嵌入表示采用会话的最后一个商品的嵌入表示。
优选地,所述会话的局部嵌入表示采用会话的最后三个商品的嵌入表示并将其拼接在一起。
优选地,会话的全局嵌入表示采用软注意力机制用来捕捉会话中所有商品的信息,具体计算如下:
αi=qTσ(W2sa+W3sl+W4vi)
其中参数q∈Rh,W2,W4∈Rh×h,W3∈Rh×3h为可学习的参数矩阵,用来控制商品的嵌入表示的权重,vi为会话中第i个商品学习到的嵌入表示,sa为会话的邻近嵌入表示,sl为会话的局部嵌入表示,αi为每个商品的注意力权重,表示每个商品对会话的重要性,sg为会话的全局嵌入表示。
优选地,所述得到所有商品的推荐分数后,根据需要选取推荐分数为top k的k个商品进行推荐。
同时,本发明还提供了一种商品推荐系统,其具体的方案如下:
包括基于会话的序列构图模块、商品嵌入表示学习模块、会话嵌入表示学习模块和商品推荐模块;
其中基于会话的序列构图模块用于将会话序列建模为无向图;
根据得到的所有商品的嵌入表示,以及每个会话的嵌入表示,将之进行相乘,然后通过softmax函数进行归一化处理,得到针对每个会话所有商品的推荐分数,根据所述推荐分数进行商品推荐。
会话嵌入表示学习模块用于根据学习到的会话中商品的嵌入表示,对会话的嵌入表示进行学习;
商品推荐模块用于根据得到的所有商品的嵌入表示,以及每个会话的嵌入表示,将之进行相乘,然后通过softmax函数进行归一化处理,得到针对每个会话所有商品的推荐分数,根据所述推荐分数进行商品推荐。
另外,本发明还提供了一种存储介质,其内部存储有程序,所述程序运行时执行以上方法步骤。
与现有技术相比,本发明的有益效果是:
现有的采用RNN模型的方法只是考虑了连续的商品间的单方向转换,不能够得到用户的精确表示以及忽略了商品间复杂的转换特性。本发明提出的方法将会话序列构建成无向图,通过门控图卷积网络可以学习会话中商品间复杂的转换,两层图卷积网络不仅可以捕捉商品与相邻商品之间的关联,而且可以捕捉商品与相邻商品的相邻商品之间的关联,可以更精确的得到商品的嵌入表示,进一步得到会话的嵌入表示。
已有的基于图神经网络的推荐模型SRGNN,对于每个会话保存出度矩阵和入度矩阵两个矩阵,矩阵比较稀疏,同时在会话的嵌入表示中只考虑会话最后一个商品的信息与整体的信息,本发明提出的方法基于门控图卷积网络,在构图时,考虑了相邻商品出现的次数,对于每个会话只需要保存一个邻接矩阵,占用更少的空间资源,同时两层的图卷积网络相当于不仅考虑了商品与相邻商品的关联,同时也考虑了商品与相邻商品的相邻商品的关联,可以更好的学习到商品的嵌入表示。同时在会话的嵌入表示学习中,从全局,局部,邻近三个方面考虑了会话中更多商品的信息,能更准确的得到会话的嵌入表示。
附图说明
图1为推荐系统的执行流程示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
为了使本发明的目的、技术方案及优点更加清楚明白,下面结合具体的实验数据、实验步骤和实验结果对本发明进行进一步详细说明。应当理解,此处所描述的具体实验数据和实验结果仅仅用以解释本发明,并不用于限定本发明。
实验数据:本发明通过两个具有代表性的真实数据集进行评估,即Yoochoose和Diginetica。Yoochoose数据集是从RecSys Challenge 2015获得。该数据集包含一个电子商务网站六个月内用户点击流。Diginetica数据集来自CIKM Cup 2016,本实验只使用了其中的交易数据。
数据预处理:为了与已有的方法公平比较。本实验采用与已有最新方法SRGNN相同的数据预处理方法。在两个数据集中,去掉会话长度为1的会话和商品总出现次数小于5的相应会话。最终Yoochoose数据集包含7,981,580个会话和37,483个商品。Diginetica包含204,771个会话和43,097个商品。进一步,通过分割输入序列来产生序列和相应的标签。比如,对于一个输入会话s=[vs,1,vs,2,...,vs,n],通过分割产生新的序列和对应标签([vs,1],vs,2),([vs,1,vs,2],vs,3),...,([vs,1,vs,2,...,vs,n-1],vs,n),其中[vs,1,vs,2,...,vs,n-1]是产生的序列,vs,n表示下一次点击的商品。由于Yoochoose数据集训练内存需求过大,本实验只采用Yoochoose数据集的训练序列最新的1/64部分和最新的1/4部分。最终实验数据的统计信息如下表所示。
表1:实验数据统计信息
数据集 | 点击数 | 训练会话数 | 测试会话数 | 商品数 | 平均长度 |
Yoochoose1/64 | 557,248 | 369,859 | 55,898 | 16,766 | 6.16 |
Yoochoose1/4 | 8,326,407 | 5,917,745 | 55,898 | 29,618 | 5.71 |
Diginetica | 982,961 | 719,470 | 60,858 | 43,097 | 5.12 |
如图1所示的是基于门控图卷积网络的商品推荐系统的执行流程示意图,该推荐方法包括四个模块:基于会话的序列构图模块、商品嵌入表示学习模块、会话嵌入表示学习模块和商品推荐模块。在基于会话的序列构图模块,通过本发明提出的构图方法,将每个会话构建成一个无向图,每条边上的权重越大,对于该会话,边上的两个商品关联性越大。在商品嵌入表示学习模块,根据上一步得到的图,可以得到其邻接矩阵,用于图卷积网络,对于所有商品,随机初始化一个如100维的嵌入表示向量,然后对于每个会话,通过图卷积网络和门控循环单元学习商品之间的复杂转换,最后得到商品的嵌入表示。在会话嵌入表示学习模块,通过上一步得到的商品嵌入表示,考虑三种嵌入表示:全局嵌入表示、局部嵌入表示、邻近嵌入表示,最终得到会话的嵌入表示。最后是商品推荐模块,通过前两步得到的会话嵌入表示和所有商品嵌入表示,将它们相乘,并经过softmax层将数字范围变到0和1之间,即可得到针对该会话所有商品的推荐分数。
具体步骤为:
训练阶段:
对于训练集中的每个会话s,将其建模为一个无向图Gs=(Vs,Es)。在这个会话图中,一个顶点代表一个商品vs,i∈V。每条边(vs,i,vs,j)∈Es表示一个用户在一个会话s中的连续两次点击中点击了vs,i和vs,j。如果一个会话s中相邻的两个商品多次相邻出现,出现n次则将会话图对应的边的权重设为n。
将所有会话中的商品初始化到一个统一的嵌入空间中,即将不同的商品都随机初始化为固定维度如h=100维的不同的嵌入向量,这些嵌入向量将通过模型进行学习。
根据前面得到的会话图,对会话s计算其带权的邻接矩阵As。
对于每个会话s,通过图卷积网络和门控循环单元学习会话s中商品的嵌入表示。
根据上一步学到的商品的嵌入表示,对于会话s,考虑三种嵌入表示方式:邻近嵌入表示、局部嵌入表示、全局嵌入表示。
邻近嵌入表示sa采用会话s的最后一个商品的嵌入表示,即sa=vn,其中vn为会话s中最后一个商品学习到的嵌入表示。
局部嵌入表示sl采用会话s的最后三个商品的嵌入表示将其拼接在一起,即sl=[vn-2,vn-1,vn],其中vn-2,vn-1,vn为会话s的最后三个商品学习到的嵌入表示。
全局嵌入表示采用软注意力机制用来捕捉会话中所有商品的信息。
最后,通过将全局嵌入表示、局部嵌入表示、邻近嵌入表示进行拼接并经过一个线性转换得到会话的嵌入表示sh。
根据上一步最后得到的会话s的嵌入表示sh,通过将sh与每个不同商品的嵌入表示vi相乘,得到相应商品的推荐分数。
对所有不同商品的推荐分数fi使用softmax函数进行归一化,即得到所有商品的最终推荐分数,表示商品为会话中下一个点击的商品的概率。
对每个会话,损失函数采用交叉熵损失函数,其中真实值为会话中下一个点击商品的独热编码,预测值为所有商品的最终推荐分数。
最后使用基于时间的反向传播算法来训练本发明提出的方法中的算法模型。
测试阶段:
对于测试集中每个会话,按训练阶段的步骤得到所有商品的最终推荐分数即可停止,然后选取推荐分数为top k的k个商品进行推荐,并根据一些评价标准,评价推荐的效果。
实验对比:为了评估提出的方法的效果,实验与本发明提出的方法比较的方法有:
a.POP和S-POP分别推荐在训练集和当前会话中最常出现的前N个商品。
b.Item-KNN推荐与会话点击过的商品相似的商品,其中相似性是指会话向量的余弦相似度。
c.BPR-MF通过随机梯度下降优化成对排序的优化函数。
d.FPMC是基于马尔科夫链的序列预测方法。
e.GRU4REC使用RNN对基于会话的推荐的用户序列进行建模。
f.NARM采用RNN和注意力机制来捕捉用户的主要目的和序列行为。
g.STAMP捕捉了用户在会话中的全局兴趣和最后一次的点击的当前兴趣。
h.SRGNN采用图神经网络学习商品的嵌入表示和会话的嵌入表示进行推荐。
评价指标:本实验采用两种评价指标:
P@20(精度)是广泛采用的评价预测准确度的方法。它表示在推荐的前20个商品中准确预测的比例。
MRR@20(平均倒数排名)是准确预测的商品的倒数排名。如果排名超过20,则将倒数排名设为0。MRR方法考虑了推荐排名的顺序,其中MRR值越大表示准确推荐的商品在推荐排名列表的越前面。
参数设置:本实验通过一块GeForce RTX 2080Ti gpu进行训练。与SRGNN方法一样,本实验用的嵌入向量维度为h=100。所有参数初始化为服从均值为0、方差为0.1的高斯分布。采用mini-batch Adam optimizer来优化参数。Yoochoose1/64数据集和Yoochoose1/4数据集的初始化学习率设为0.002,Diginetica数据集的初始化学习率设为0.001,每经过3个epoch,学习率将减少0.1,L2 penalty设为10-5。Yoochoose1/64数据集的batch size为256,Yoochoose1/4数据集和Diginetica数据集的batch size为512。a-g的方法的实验结果采用SRGNN模型论文的实验结果,SRGNN模型的参数设置与原论文模型参数设置一样。
实验结果:最终实验结果如下表所示
表2:本发明的方法与其他对比方法在三个数据集上的实验结果
可以看到本发明的方法的实验结果在三个数据集上均优于其他方法。因为本发明的方法对于每个会话只保存一个邻接矩阵,而目前最好的SRGNN模型对于每个会话需要保存出度矩阵和入度矩阵两个矩阵,本发明耗费更少的空间资源,而且通过两层图卷积网络可以捕捉更丰富的商品转换模式,不仅可以捕捉一个商品与其相邻商品的关联,还可以捕捉一个商品与其相邻商品的相邻商品的关联,从而学习到商品的嵌入表示,同时在学习会话嵌入表示时,本发明从三个角度全局嵌入表示,局部嵌入表示和邻近嵌入表示考虑了更多的商品信息。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (9)
1.一种基于门控图卷积网络的商品推荐方法,其特征在于:包括:
将会话序列建模为无向图;无向图中,一个顶点代表一个商品,每条边代表用户在会话的连续两次点击中点击了边两端的商品,根据每条边在会话中出现的次数赋予每条边相应次数的权重;
将会话序列中所有会话中的商品初始化到一个统一的嵌入空间中,得到每个会话中的商品的嵌入表示,通过图卷积网络和门控循环单元学习会话中商品的嵌入表示;
根据学习到的会话中商品的嵌入表示,对会话的嵌入表示进行学习;
根据得到的所有商品的嵌入表示,以及每个会话的嵌入表示,将之进行相乘,然后通过softmax函数进行归一化处理,得到针对每个会话所有商品的推荐分数,根据所述推荐分数进行商品推荐。
2.根据权利要求1所述的基于门控图卷积网络的商品推荐方法,其特征在于:所述学习商品的嵌入表示的具体过程如下:
对于单个会话s,具体操作由如下公式表示:
rs=σ(GsWir+bir+XsWhr+bhr)
zs=σ(GsWiz+biz+XsWhz+bhz)
ns=tanh(GsWin+bin+(Xs*rs)Whn+bhn)
Vs=(1-zs)*Xs+zs*ns
其中其中As∈Rn×n为根据会话序列s构建的无向图得到的带权邻接矩阵,包含了会话图中商品顶点之间的连接信息,其中n为会话s中不同商品的个数,为的度矩阵,其对角线上每个元素表示将会话图中每个商品顶点的与所有商品顶点的连接信息求和,为将归一化后的结果;Xs∈Rn×h为会话s中不同商品的初始化嵌入表示,h为统一的嵌入维度,即每个商品初始为一个h维向量表示;W0∈Rh×h、W1∈Rh×h为可学习的参数矩阵;ReLU(·)为线性整流函数,σ(·)为sigmoid函数,tanh(·)为双曲正切函数,*为Hadamard积;Gs为Xs经过两层图卷积后的结果,其中每一行表示每个商品经过图卷积信息传播后的商品嵌入表示,Wir,Whr,Wiz,Whz,Win,Whn∈Rh×h,bir,bhr,biz,bhz,bin,bhn∈Rn×1为可学习的参数矩阵,将Gs和Xs代入门控循环单元公式可以得到会话s中不同商品嵌入表示Vs∈Rn×h,其中rs和zs为重置门和更新门,分别控制商品嵌入表示信息的遗忘和更新,ns为商品的嵌入表示的候选状态信息。
3.根据权利要求1所述的基于门控图卷积网络的商品推荐方法,其特征在于:所述会话的嵌入表示的学习过程具体如下:
求取会话的邻近嵌入表示、局部嵌入表示、全局嵌入表示,将全局嵌入表示、局部嵌入表示、邻近嵌入表示进行拼接并经过一个线性转换得到混合嵌入表示作为会话的嵌入表示。
4.根据权利要求3所述的基于门控图卷积网络的商品推荐方法,其特征在于:所述会话的邻近嵌入表示采用会话的最后一个商品的嵌入表示。
5.根据权利要求3所述的基于门控图卷积网络的商品推荐方法,其特征在于:所述会话的局部嵌入表示采用会话的最后三个商品的嵌入表示并将其拼接在一起。
7.根据权利要求1~6任一项所述的基于门控图卷积网络的商品推荐方法,其特征在于:所述得到所有商品的推荐分数后,根据需要选取推荐分数为top k的k个商品进行推荐。
8.一种商品推荐系统,其特征在于:包括基于会话的序列构图模块、商品嵌入表示学习模块、会话嵌入表示学习模块和商品推荐模块;
其中基于会话的序列构图模块用于将会话序列建模为无向图;
商品嵌入表示学习模块用于将会话序列中所有会话中的商品初始化到一个统一的嵌入空间中,得到每个会话中的商品的嵌入表示,通过图卷积网络和门控循环单元学习会话中商品的嵌入表示;
会话嵌入表示学习模块用于根据学习到的会话中商品的嵌入表示,对会话的嵌入表示进行学习;
商品推荐模块用于根据得到的所有商品的嵌入表示,以及每个会话的嵌入表示,将之进行相乘,然后通过softmax函数进行归一化处理,得到针对每个会话所有商品的推荐分数,根据所述最终推荐分数进行商品推荐。
9.一种存储介质,其特征在于:其内部存储有程序,所述程序运行时执行权利要求1~7任一项的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911164202.9A CN111080400B (zh) | 2019-11-25 | 2019-11-25 | 一种基于门控图卷积网络的商品推荐方法及系统、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911164202.9A CN111080400B (zh) | 2019-11-25 | 2019-11-25 | 一种基于门控图卷积网络的商品推荐方法及系统、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111080400A true CN111080400A (zh) | 2020-04-28 |
CN111080400B CN111080400B (zh) | 2023-04-18 |
Family
ID=70311523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911164202.9A Active CN111080400B (zh) | 2019-11-25 | 2019-11-25 | 一种基于门控图卷积网络的商品推荐方法及系统、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111080400B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111667067A (zh) * | 2020-05-28 | 2020-09-15 | 平安医疗健康管理股份有限公司 | 基于图神经网络的推荐方法、装置和计算机设备 |
CN112101984A (zh) * | 2020-08-16 | 2020-12-18 | 复旦大学 | 一种融合用户微观行为和知识图谱的会话推荐模型 |
CN112150210A (zh) * | 2020-06-19 | 2020-12-29 | 南京理工大学 | 一种基于ggnn网络的改进型神经网络推荐方法及系统 |
CN112258262A (zh) * | 2020-09-15 | 2021-01-22 | 浙江大学 | 一种基于卷积自注意力网络的会话推荐方法 |
CN112396492A (zh) * | 2020-11-19 | 2021-02-23 | 天津大学 | 基于图注意力网络和双向长短期记忆网络的会话推荐方法 |
CN112541639A (zh) * | 2020-12-22 | 2021-03-23 | 宜宾电子科技大学研究院 | 基于图神经网络和注意力机制的推荐系统评分预测方法 |
CN113240098A (zh) * | 2021-06-16 | 2021-08-10 | 湖北工业大学 | 基于混合门控神经网络的故障预测方法、装置和存储介质 |
CN113326425A (zh) * | 2021-04-20 | 2021-08-31 | 中国电子科技集团公司第五十四研究所 | 一种基于结构和语义注意力堆叠的会话推荐方法及系统 |
CN113467740A (zh) * | 2021-07-15 | 2021-10-01 | 青岛博天数通信息科技有限公司 | 一种基于联合编码的视频监控阵列显示优化方法和装置 |
CN113688315A (zh) * | 2021-08-19 | 2021-11-23 | 电子科技大学 | 一种基于无信息损失图编码的序列推荐方法 |
CN113763084A (zh) * | 2020-09-21 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 产品推荐的处理方法、装置、设备及存储介质 |
CN114036380A (zh) * | 2021-11-08 | 2022-02-11 | 重庆邮电大学 | 一种基于时间门控循环单元的跨领域序列智能推荐方法 |
CN116342228A (zh) * | 2023-05-18 | 2023-06-27 | 云筑信息科技(成都)有限公司 | 一种基于有向图神经网络的相关推荐的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107682216A (zh) * | 2017-09-01 | 2018-02-09 | 南京南瑞集团公司 | 一种基于深度学习的网络流量协议识别方法 |
CN107729990A (zh) * | 2017-07-20 | 2018-02-23 | 上海寒武纪信息科技有限公司 | 支持离散数据表示的用于执行人工神经网络正向运算的装置及方法 |
CN109816101A (zh) * | 2019-01-31 | 2019-05-28 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于图卷积神经网络的会话序列推荐方法及系统 |
CN110188870A (zh) * | 2016-04-27 | 2019-08-30 | 北京中科寒武纪科技有限公司 | 用于执行人工神经网络自学习运算的装置和方法 |
CN110399553A (zh) * | 2019-06-28 | 2019-11-01 | 南京工业大学 | 一种基于对抗学习的会话推荐列表生成方法 |
-
2019
- 2019-11-25 CN CN201911164202.9A patent/CN111080400B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188870A (zh) * | 2016-04-27 | 2019-08-30 | 北京中科寒武纪科技有限公司 | 用于执行人工神经网络自学习运算的装置和方法 |
CN107729990A (zh) * | 2017-07-20 | 2018-02-23 | 上海寒武纪信息科技有限公司 | 支持离散数据表示的用于执行人工神经网络正向运算的装置及方法 |
CN107682216A (zh) * | 2017-09-01 | 2018-02-09 | 南京南瑞集团公司 | 一种基于深度学习的网络流量协议识别方法 |
CN109816101A (zh) * | 2019-01-31 | 2019-05-28 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于图卷积神经网络的会话序列推荐方法及系统 |
CN110399553A (zh) * | 2019-06-28 | 2019-11-01 | 南京工业大学 | 一种基于对抗学习的会话推荐列表生成方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111667067A (zh) * | 2020-05-28 | 2020-09-15 | 平安医疗健康管理股份有限公司 | 基于图神经网络的推荐方法、装置和计算机设备 |
CN112150210A (zh) * | 2020-06-19 | 2020-12-29 | 南京理工大学 | 一种基于ggnn网络的改进型神经网络推荐方法及系统 |
CN112101984A (zh) * | 2020-08-16 | 2020-12-18 | 复旦大学 | 一种融合用户微观行为和知识图谱的会话推荐模型 |
CN112258262A (zh) * | 2020-09-15 | 2021-01-22 | 浙江大学 | 一种基于卷积自注意力网络的会话推荐方法 |
CN112258262B (zh) * | 2020-09-15 | 2023-09-26 | 浙江大学 | 一种基于卷积自注意力网络的会话推荐方法 |
CN113763084A (zh) * | 2020-09-21 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 产品推荐的处理方法、装置、设备及存储介质 |
CN112396492A (zh) * | 2020-11-19 | 2021-02-23 | 天津大学 | 基于图注意力网络和双向长短期记忆网络的会话推荐方法 |
CN112541639A (zh) * | 2020-12-22 | 2021-03-23 | 宜宾电子科技大学研究院 | 基于图神经网络和注意力机制的推荐系统评分预测方法 |
CN113326425B (zh) * | 2021-04-20 | 2022-09-20 | 中国电子科技集团公司第五十四研究所 | 一种基于结构和语义注意力堆叠的会话推荐方法及系统 |
CN113326425A (zh) * | 2021-04-20 | 2021-08-31 | 中国电子科技集团公司第五十四研究所 | 一种基于结构和语义注意力堆叠的会话推荐方法及系统 |
CN113240098A (zh) * | 2021-06-16 | 2021-08-10 | 湖北工业大学 | 基于混合门控神经网络的故障预测方法、装置和存储介质 |
CN113467740A (zh) * | 2021-07-15 | 2021-10-01 | 青岛博天数通信息科技有限公司 | 一种基于联合编码的视频监控阵列显示优化方法和装置 |
CN113467740B (zh) * | 2021-07-15 | 2024-02-02 | 青岛博天数通信息科技有限公司 | 一种基于联合编码的视频监控阵列显示优化方法和装置 |
CN113688315A (zh) * | 2021-08-19 | 2021-11-23 | 电子科技大学 | 一种基于无信息损失图编码的序列推荐方法 |
CN113688315B (zh) * | 2021-08-19 | 2023-04-18 | 电子科技大学 | 一种基于无信息损失图编码的序列推荐方法 |
CN114036380A (zh) * | 2021-11-08 | 2022-02-11 | 重庆邮电大学 | 一种基于时间门控循环单元的跨领域序列智能推荐方法 |
CN116342228A (zh) * | 2023-05-18 | 2023-06-27 | 云筑信息科技(成都)有限公司 | 一种基于有向图神经网络的相关推荐的方法 |
CN116342228B (zh) * | 2023-05-18 | 2023-10-20 | 云筑信息科技(成都)有限公司 | 一种基于有向图神经网络的相关推荐的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111080400B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111080400B (zh) | 一种基于门控图卷积网络的商品推荐方法及系统、存储介质 | |
Wu et al. | Session-based recommendation with graph neural networks | |
Chen et al. | Deep reinforcement learning in recommender systems: A survey and new perspectives | |
CN110119467B (zh) | 一种基于会话的项目推荐方法、装置、设备及存储介质 | |
CN111797321B (zh) | 一种面向不同场景的个性化知识推荐方法及系统 | |
US11521221B2 (en) | Predictive modeling with entity representations computed from neural network models simultaneously trained on multiple tasks | |
CN110781409B (zh) | 一种基于协同过滤的物品推荐方法 | |
Hu et al. | Predicting the popularity of viral topics based on time series forecasting | |
WO2021139415A1 (zh) | 数据处理方法、装置、计算机可读存储介质及电子设备 | |
AU2024203218A1 (en) | System and method for evaluating the true reach of social media influencers | |
CN114202061A (zh) | 基于生成对抗网络模型及深度强化学习的物品推荐方法、电子设备及介质 | |
Wang | A survey of online advertising click-through rate prediction models | |
Jin et al. | Task-oriented web user modeling for recommendation | |
CN111241421A (zh) | 基于社交上下文信息的用户转发行为预测方法 | |
Chen et al. | Session-based recommendation: Learning multi-dimension interests via a multi-head attention graph neural network | |
CN114925270B (zh) | 一种会话推荐方法和模型 | |
CN114117229A (zh) | 一种基于有向和无向结构信息的图神经网络的项目推荐方法 | |
Sang et al. | Position-aware graph neural network for session-based recommendation | |
CN114417124A (zh) | 一种多任务强化学习推荐方法 | |
CN113888238A (zh) | 一种广告点击率预测方法、装置及计算机设备 | |
CN114329167A (zh) | 超参数学习、智能推荐、关键词和多媒体推荐方法及装置 | |
Song et al. | Autoassign: Automatic shared embedding assignment in streaming recommendation | |
CN116975686A (zh) | 训练学生模型的方法、行为预测方法和装置 | |
Cai et al. | Rethinking transition relationship between co-occurring items in graph neural networks for session-based recommendation | |
CN110633789A (zh) | 用于流媒体推荐的自我注意网络信息处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |