CN110097433A - 基于注意力机制的推荐方法、装置、设备及存储介质 - Google Patents

基于注意力机制的推荐方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110097433A
CN110097433A CN201910399853.XA CN201910399853A CN110097433A CN 110097433 A CN110097433 A CN 110097433A CN 201910399853 A CN201910399853 A CN 201910399853A CN 110097433 A CN110097433 A CN 110097433A
Authority
CN
China
Prior art keywords
vector
user
commodity
shopping cart
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910399853.XA
Other languages
English (en)
Other versions
CN110097433B (zh
Inventor
赵朋朋
车彬彬
周晓方
崔志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201910399853.XA priority Critical patent/CN110097433B/zh
Publication of CN110097433A publication Critical patent/CN110097433A/zh
Application granted granted Critical
Publication of CN110097433B publication Critical patent/CN110097433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations

Abstract

本发明公开了一种基于自适应注意力机制的推荐方法、装置、设备及计算机可读存储介质;本方案中,基于自适应注意力机制分别获得当前购物车的短期偏好向量和各个历史购物车向量间的长期偏好向量,根据短期偏好向量和长期偏好向量,分别能反应用户的短期偏好的多样性及长期偏好的多样性,最后将这两者的结合输入到循环神经网络LSTM中,来更好的学习用户的序列行为,从而为用户准确的推荐兴趣的商品。

Description

基于注意力机制的推荐方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域,更具体地说,涉及一种基于自适应注意力机制的推荐方法、装置、设备及计算机可读存储介质。
背景技术
随着电子商务的快速发展,许多公司都建立了购物平台,来方便用户购物。电子商务中最重要的任务之一是能够及时发现用户的购买习惯及其演变,并准确为用户推荐下个商品。这不仅可以为服务提商增加流量和利润,还可以帮助顾客更容易地找到感兴趣的商品。因此,将用户的购物历史表示为一个购物车序列,将下一个购物车推荐形式化为一个序列预测问题。也就是说,给定一个用户的购物车记录,可以根据用户一般兴趣和用户的序列行为来预测用户接下来会购买什么。
目前下一个购物车推荐方法可以分为三类:基于购买模式的方法、基于MarkovChains(MC)的方法和基于循环神经网络的方法。首先,基于模式的方法考虑购物车中商品之间的相关性,并将不同商品因素整合到决策过程中。其次,基于Markov Chains的方法只对相邻购物车之间的用户顺序行为进行建模。却不能建模用户的长期偏好。基于循环神经网络(Recurrent Neural Network,RNN)的方法,可以描述用户兴趣随时间变化的特征。由于RNN的单调假设限制了对用户短期兴趣的建模,因此,有些学者提出了基于注意力(attention)的RNN解决方法。这能在之前的购物车中自动分配不同的影响权重,并取得了最优的性能提升。然而,用户在购物车内部和购物车之间的偏好是具有多样性的,这使得基于固定的注意力机制很难捕捉到。
因此,如何准确为用户推荐感兴趣的物品,是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种基于自适应注意力机制的推荐方法、装置、设备及计算机可读存储介质,以实现准确为用户推荐感兴趣的物品。
为实现上述目的,本发明提供一种基于自适应注意力机制的推荐方法,包括:
确定用户当前购物车的各个目标商品嵌入向量;
从所述用户的历史购买商品集合中,确定与每个目标商品嵌入向量对应的候选商品嵌入向量,并根据各个目标商品嵌入向量和各个候选商品嵌入向量,确定所述用户的短期偏好向量;
确定所述用户的各个历史购物车向量;
从所述用户的历史购买商品集合中,确定与每个历史购物车向量对应的候选商品嵌入向量,并根据各个历史购物车向量和各个候选商品嵌入向量,确定所述用户的长期偏好向量;
根据所述短期偏好向量和所述长期偏好向量确定混合偏好向量;
将所述混合偏好向量输入输入LSTM网络,得到所述用户的综合偏好向量;
根据所述综合偏好向量,从所述历史购买商品集合中确定推荐的商品。
可选的,所述根据各个目标商品嵌入向量和各个候选商品嵌入向量,确定所述用户的短期偏好向量,包括:
根据各个目标商品嵌入向量以及对应的候选商品嵌入向量,确定各个目标商品嵌入向量的第一相关性向量;
对各个目标商品嵌入向量的第一相关性向量进行标准化处理,得到各个目标商品嵌入向量的加权系数;
利用各个目标商品嵌入向量及对应的加权系数,确定所述用户的短期偏好向量。
可选的,所述根据各个历史购物车向量和各个候选商品嵌入向量,确定所述用户的长期偏好向量,包括:
根据各个历史购物车向量和各个候选商品嵌入向量,确定各个历史购物车向量的第二相关性向量;
对各个历史购物车向量的第二相关性向量进行标准化处理,得到各个历史购物车向量的加权系数;
利用各个历史购物车向量及对应的加权系数,确定所述用户的长期偏好向量。
可选的,根据所述综合偏好向量,从所述历史购买商品集合中确定推荐的商品,包括:
利用各个目标商品嵌入向量、历史购买商品集合的各个候选商品嵌入向量以及所述综合偏好向量,确定每个候选商品的推荐概率;
根据各个候选商品的推荐概率,确定推荐的商品。
为实现上述目的,本发明进一步提供一种基于自适应注意力机制的推荐装置,包括:
目标商品嵌入向量确定模块,用于确定用户当前购物车的各个目标商品嵌入向量;
第一候选商品嵌入向量确定模块,用于从所述用户的历史购买商品集合中,确定与每个目标商品嵌入向量对应的候选商品嵌入向量;
短期偏好向量确定模块,用于根据各个目标商品嵌入向量和各个候选商品嵌入向量,确定所述用户的短期偏好向量;
历史购物车向量确定模块,用于确定所述用户的各个历史购物车向量;
第二候选商品嵌入向量确定模块,用于从所述用户的历史购买商品集合中,确定与每个历史购物车向量对应的候选商品嵌入向量;
长期偏好向量确定模块,用于根据各个历史购物车向量和各个候选商品嵌入向量,确定所述用户的长期偏好向量;
混合偏好向量确定模块,用于根据所述短期偏好向量和所述长期偏好向量确定混合偏好向量;
综合偏好向量确定模块,用于将所述混合偏好向量输入输入LSTM网络,得到所述用户的综合偏好向量;
商品确定模块,用于根据所述综合偏好向量,从所述历史购买商品集合中确定推荐的商品。
可选的,所述短期偏好向量确定模块包括:
第一相关性向量确定单元,用于根据各个目标商品嵌入向量以及对应的候选商品嵌入向量,确定各个目标商品嵌入向量的第一相关性向量;
第一加权系数确定单元,用于对各个目标商品嵌入向量的第一相关性向量进行标准化处理,得到各个目标商品嵌入向量的加权系数;
短期偏好向量确定单元,用于利用各个目标商品嵌入向量及对应的加权系数,确定所述用户的短期偏好向量。
可选的,所述长期偏好向量确定模块包括:
第二相关性向量确定单元,用于根据各个历史购物车向量和各个候选商品嵌入向量,确定各个历史购物车向量的第二相关性向量;
第二加权系数确定单元,用于对各个历史购物车向量的第二相关性向量进行标准化处理,得到各个历史购物车向量的加权系数;
长期偏好向量确定单元,用于利用各个历史购物车向量及对应的加权系数,确定所述用户的长期偏好向量。
可选的,所述商品确定模块,包括:
推荐概率确定单元,用于利用各个目标商品嵌入向量、历史购买商品集合的各个候选商品嵌入向量以及所述综合偏好向量,确定每个候选商品的推荐概率;
推荐单元,用于根据各个候选商品的推荐概率,确定推荐的商品。
为实现上述目的,本发明进一步提供一种基于自适应注意力机制的推荐设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述的推荐方法的步骤。
为实现上述目的,本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的推荐方法的步骤。
通过以上方案可知,本发明实施例提供的一种基于自适应注意力机制的推荐方法,包括:确定用户当前购物车的各个目标商品嵌入向量;从所述用户的历史购买商品集合中,确定与每个目标商品嵌入向量对应的候选商品嵌入向量,并根据各个目标商品嵌入向量和各个候选商品嵌入向量,确定所述用户的短期偏好向量;确定所述用户的各个历史购物车向量;从所述用户的历史购买商品集合中,确定与每个历史购物车向量对应的候选商品嵌入向量,并根据各个历史购物车向量和各个候选商品嵌入向量,确定所述用户的长期偏好向量;根据所述短期偏好向量和所述长期偏好向量确定混合偏好向量;将所述混合偏好向量输入输入LSTM网络,得到所述用户的综合偏好向量;根据所述综合偏好向量,从所述历史购买商品集合中确定推荐的商品。
可见,在本方案中,基于自适应注意力机制分别获得当前购物车的短期偏好向量和各个历史购物车向量的长期偏好向量,根据短期偏好向量和长期偏好向量,分别能反应用户的短期偏好的多样性及长期偏好的多样性,最后将这两者结合输入到循环神经网络LSTM中,来更好的学习用户的序列行为,从而为用户准确的推荐兴趣的商品;
本发明还公开了一种基于自适应注意力机制的推荐装置、设备及计算机可读存储介质,同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一商品推荐示意图;
图2为本发明实施例公开的一种基于自适应注意力机制的推荐模型结构示意图;
图3为本发明实施例公开的一种基于自适应注意力机制的推荐方法流程示意图;
图4为本发明实施例公开的一种基于自适应注意力机制的推荐装置结构示意图;
图5为本发明实施例公开的一种基于自适应注意力机制的推荐设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,目前在序列推荐中广泛采用循环神经网络RNN来描述用户兴趣随时间变化的特征。例如,有些学者利用RNN来在轨迹数据中挖掘动态的用户和物品偏好。由于RNN的单调假设限制了对用户短期兴趣的建模,因此,有些学者提出了基于注意力(attention)的RNN解决方法。这能在之前的购物车中自动分配不同的影响权重,并取得了最优的性能提升。然而,用户在购物车内部和购物车之间的偏好是具有多样性的,这使得基于固定的注意力机制很难捕捉到。
例如:用户的一个购物车中通常包含不同种类的物品。如:在购物车中会同时存在图书和电子产品,这表明用户在购物车中的兴趣是具有多样性。并且,不同购物车里的主要物品类别通常是不同的。如:一个购物车里有玩具和游戏,另一个购物车有零食或衣服。这说明用户兴趣在购物车之间同样具有多样性。在用户长期偏好方面,基于注意力的RNN方法使用固定的策略对之前的购物车分配不同的权重,但这不足以捕捉用户长期偏好的多样性。
参见图1,为本申请实施例公开的一商品推荐示意图;如图1所示,给定一个购物车序列(B1,B2,B3,B4),购物车的集合表示形成了两个簇B1接近B2,B3接近B4。固定的用户长期偏好表示在所有购物车之间形成了两个集群。由于vo电子书接近因此用户表示将推荐物品vo。然而自适应用户表示将推荐物品图书vm或者键盘vn。由于用户兴趣的多样性,只有购物车的一个子集可以显示用户是否感兴趣。这是因为候选项图书vm更接近B1和B2的书籍。因此在考虑候选项vm时,自适应用户表示比固定用户表示更加精确。这个例子表明,自适应用户表示能够更好地反映候选项与历史购物车之间地相关性,也能更好地表达用户长期偏好地多样性。
在用户地短期偏好中,现有的方法常常将用户和最近的购物车B4中的物品投射到低维空间中,在低维空间中,相似的物品被投射到很接近的位置。用户和物品之间的距离表示用户对该物品的兴趣程度,但是固定的用户短期偏好表示不能有效地反映用户偏好地多样性。这是由于不同的候选项和购物车中的物品存在不同的相关性。如图1所示,最近的购物车中的物品形成了两个簇体现用户兴趣的多样性,并且固定的用户表示驻留在两个簇之间。因此固定的用户表示将推荐物品书包vh给用户然而自适应用户表示将会物品鞋vi或者平板vj。也就是说,自适应用户表示能更好地反映候选项和历史物品之间地相关性,也能更好地表达用户短期偏好地多样性。
在本实施例中,假设存在一组用户和一组物品,分别被定义为U和I,其中u∈U表示一个用户,v∈I表示一个物品。用户和物品的总数分别表示为|U|和|I|。对于一个用户u,按时间排序的购买记录表示为购物车序列用户购买过的所有物品被定义为因此给定一个用户的历史购物车记录,推荐任务是推荐用户下次购买时可能要购买的物品,也可以理解为,推荐问题可以重新表述为所有物品的排序问题,然后向用户推荐用户可能感兴趣的若干个物品。
在本实施例中,提出了一种在购物车内和购物车之间基于自适应注意力机制为下个购物车做推荐方法。参见图2,为本发明实施例公开的一种基于自适应注意力机制的推荐模型结构示意图,通过图2可以看出,本方案提出的模型主要分为4层。第一层是嵌入层(Embedding Layer),将item映射到连续的低维空间;第二层是自适应注意力层(AdaptiveAttention Layer),用来建模用户偏好的多样性;第三层是循环神经网路层(LSTM Layer),用来挖掘用户的序列行为;最后一层是预测层,为用户做推荐。
参见图3,本发明实施例提供的一种基于自适应注意力机制的推荐方法,包括:
S101、确定用户当前购物车的各个目标商品嵌入向量;
需要说明的是,本步骤相当于本方案中的嵌入层,由于传统的矩阵分解只能捕获低层次的、双线性的和静态的表示,其表示能力有限。因此,本方案中的模型第一步需要将用户user和商品item的one-hot编码,转换为连续的低维空间;具体来说,首先用one-hot编码来表示用户和商品item。该one-hot是一种编码方式,该编码方式下有多少个状态就有多少比特,而且只有一个比特为1,其他全为0的一种码制;例如:有1000个词汇量。排在第一个位置的代表英语中的冠词"a",那么这个"a"是用[1,0,0,0,0,...],只有第一个位置是1,其余位置都是0的1000维度的向量表示。可以看出,在one-hot编码方式下,会导致用户和商品item的表示过于稀疏,浪费更多的计算机内存资源。所以在本方案中,通过以下公式进行转换生成该物品的嵌入向量,将其表示形式更加简单,有效。
对于一个物品vi,将该物品的嵌入向量表示为:
其中,W∈RK×|I|是转换矩阵,R表示实数集,|I|表示的是商品item的数量。K是每个item的嵌入维度,LookUP是函数符号,起到的作用就是将商品item的one-hot表示转换为嵌入向量表示。也即:需要用一个K*|I|的二维矩阵和item的one-hot表示相乘,最后得到每个商品item的嵌入向量表示是1*k的维度。
进一步,为了在低维空间中表示用户在不同时间段的购物车信息。本方案使用一个记忆模块来存储购物车在t时刻所有item的低维空间表示。因此记忆矩阵M在t时刻被表示为:
Mt={m1,m2,...,ml}
其中,l是t时刻购物车中商品item的数量,ml∈RK×1对应于用户喜欢的item的嵌入表示。因此,矩阵Mt反映了用户在t时刻购物车中的兴趣,也即用户的短期兴趣,Mt中的m表示是对应物品v的嵌入向量,所以Mt中的m即为用户当前购物车的各个目标商品嵌入向量。
S102、从用户的历史购买商品集合中,确定与每个目标商品嵌入向量对应的候选商品嵌入向量,并根据各个目标商品嵌入向量和各个候选商品嵌入向量,确定用户的短期偏好向量;
其中,所述根据各个目标商品嵌入向量和各个候选商品嵌入向量,确定所述用户的短期偏好向量,包括:
根据各个目标商品嵌入向量以及对应的候选商品嵌入向量,确定各个目标商品嵌入向量的第一相关性向量;
对各个目标商品嵌入向量的第一相关性向量进行标准化处理,得到各个目标商品嵌入向量的加权系数;
利用各个目标商品嵌入向量及对应的加权系数,确定所述用户的短期偏好向量。
需要说明的是,S102-S105是本方案的自适应注意力层;在本步骤中,主要用来获得用户的短期偏好向量;具体来说,用户购物车里的item自然反映了用户的兴趣。现有的方法只使用注意力机制来描述用户对不同item的偏好,并学习固定的用户偏好表示。然而,这些方法不能反映购物车中用户兴趣的多样性。因此,在本方案中引入了一种新颖的自适应注意力机制来反映购物车中用户兴趣的多样性。该自适应注意力机制的目标是从Mt中选择于每个item密切相关的候选项item,然后聚合两者item的信息表示来表征特定用户的兴趣。
因此,对于将Mt中的目标商品嵌入向量mi,均从该用户的历史购买商品集合中随机选取对应的候选商品,并确定该候选商品的候选商品嵌入向量vj,并通过每个目标商品嵌入向量mi和对应的候选商品嵌入向量vj,确定各个目标商品嵌入向量的第一相关性向量,该第一相关性向量可以用相关性得分wij表示,wij被定义为:
其中,mi∈RK×1是记忆矩阵Mt中的第i列向量。然后,对各个目标商品嵌入向量的第一相关性向量进行标准化处理,得到各个目标商品嵌入向量的加权系数;在本方案中,通过softmax方法对相关性得分wij进行标准化处理,得到的αij即为各个目标商品嵌入向量的加权系数:
αij=softmax(wij)
本方案通过关注Mt中高度激活的item,也就是说,从记忆矩阵Mt中自适应选择有价值的特征。因此,根据候选商品vj,通过在Mt上加权得到购物车内自适应用户表示,即:用户的短期偏好向量
其中并且,由于购物车内的item会和用户之前购买过的商品有相关性,因此间接的反映用户偏好多样性。
S103、确定用户的各个历史购物车向量;
可以理解的是,从用户购物车记录中,可以看到购物车能反映用户的兴趣随着时间的推移而变化,并且在不同购物车之间反映用户不同的偏好。因此,从长期的偏好来看,学习一个固定的用户偏好表示不能表达购物车之间用户偏好的多样性。为了解决这个问题,本方案一次利用了新颖的自适应注意力机制来学习购物车之间的用户动态自适应表示。
对于一个用户,按时间排序的购买记录可以表示为Bu={B1,B2,...,Bt},该序列代表了用户u的t个购物车,且每个购物车B内都包含多个商品;本方案首先通过聚合每个购物车中所有item来生成每个购物车的浅层表示B'={B′1,B'2,...,B′t},该浅层表示即为用户的各个历史购物车向量,每个购物车的潜在表示形式如下。B′t=max_pooling(Bt),其中B′t∈RK×1表示在t时刻购物车的潜在表示。
S104、从用户的历史购买商品集合中,确定与每个历史购物车向量对应的候选商品嵌入向量,并根据各个历史购物车向量和各个候选商品嵌入向量,确定用户的长期偏好向量;
其中,所述根据各个历史购物车向量和各个候选商品嵌入向量,确定所述用户的长期偏好向量,包括:
根据各个历史购物车向量和各个候选商品嵌入向量,确定各个历史购物车向量的第二相关性向量;
对各个历史购物车向量的第二相关性向量进行标准化处理,得到各个历史购物车向量的加权系数;
利用各个历史购物车向量及对应的加权系数,确定所述用户的长期偏好向量。
进一步,与获得用户的短期偏好向量相似,在此,同样以一种新颖的自适应注意力机制引入到购物车之间和候选项vj中,由于购物车会和用户之前购买过的商品有相关性,因此可以反映用户偏好的多样性。该过程具体包括:
根据各个历史购物车向量B′t和各个候选商品嵌入向量vj,确定各个历史购物车向量的第二相关性向量w′tj,其中,w′tj=(B′t)Tvj对各个历史购物车向量的第二相关性向量w′tj进行标准化处理,得到各个历史购物车向量的加权系数α′tj,其中,α′tj=softmax(w′tj);利用各个历史购物车向量Bt'及对应的加权系数α′tj,确定用户的长期偏好向量其中,其中,B′t是购物车潜在表示B'的第t列向量。是购物车之间的自适应用户表示,即用户的长期偏好向量。
S105、根据短期偏好向量和长期偏好向量,确定混合偏好向量;
进一步,得到短期偏好向量和长期偏好向量后,可以通过简单的内积操作得到混合的自适应用户表示,即:混合偏好向量,定义如下:
可以看出,混合偏好向量uhybrid不经反映了在购物车内和在购物车之间的用户偏好的多样性,而且还反映了预测下个购物车中item的不同贡献。
S106、将所述混合偏好向量输入LSTM网络,得到用户的综合偏好向量;
具体的,S106是本模型的循环神经网路层,用来挖掘用户的序列行为;在自适应注意力层中,得到了混合自适应用户表示:混合偏好向量。然而,它只能反映当时用户兴趣的多样性,却不能反映用户的序列行为。因此,本方案通过LSTM对用户的序列进行建模。对于每一个时间步t,LSTM的输入是uhybrid,在t时刻LSTM的输出则表示用户综合偏好
S107、根据综合偏好向量,从历史购买商品集合中确定推荐的商品。
其中,根据所述综合偏好向量,从所述历史购买商品集合中确定推荐的商品,包括:
利用各个目标商品嵌入向量、历史购买商品集合的各个候选商品嵌入向量以及所述综合偏好向量,确定每个候选商品的推荐概率;
根据各个候选商品的推荐概率,确定推荐的商品。
具体的,S107是本模型的预测层,主要用来预测用户感兴趣的商品,作为推荐的商品;可以理解的是,对于一个用户U,以及其历史购物车通过Softmax函数定义一个item i被下次购买的概率:
其中,为综合偏好向量,Vi为目标商品嵌入向量、为历史购买商品集合的各个候选商品嵌入向量。
需要说明的是,本方案中的模型需要通过不同用户的不同购物车记录进行训练,训练后,通过本方案进行商品的推荐;并且,为了有效地学习训练数据,在LSTM的每一步都采用权值交叉熵作为优化目标,定义如下:
其中,为下个购物车中购买的商品的概率。如果item i在下个购物车中被购买,则yi=1,否则yi=0。此外,优于数据集中的正样本和负样本非常不平衡,所以我们使用参数m和n来平衡正样本和负样本的分布。
最后,预测层将会得到用户对历史购买商品集合中每个商品item下次购买的概率,将这些商品item概率从大到小排序,取前k个商品item,作为最终推荐的商品。
综上可以看出,本方案提出的一种基于自适应注意力机制的商品推荐方法。可在用户所有的历史购物车之间利用自适应注意力机制来挖掘用户长期的不同偏好。同时,在最近的购物车内利用自适应注意力机制来挖掘用户动态多样性的短期偏好。然后,将用户长期和短期的动态多样性的偏好相结合来提高推荐性能。
下面对本发明实施例提供的推荐装置进行介绍,下文描述的推荐装置与上文描述的推荐方法可以相互参照。
参见图4,本发明实施例提供的一种基于自适应注意力机制的推荐装置,包括:
目标商品嵌入向量确定模块100,用于确定用户当前购物车的各个目标商品嵌入向量;
第一候选商品嵌入向量确定模块200,用于从所述用户的历史购买商品集合中,确定与每个目标商品嵌入向量对应的候选商品嵌入向量;
短期偏好向量确定模块300,用于根据各个目标商品嵌入向量和各个候选商品嵌入向量,确定所述用户的短期偏好向量;
历史购物车向量确定模块400,用于确定所述用户的各个历史购物车向量;
第二候选商品嵌入向量确定模块500,用于从所述用户的历史购买商品集合中,确定与每个历史购物车向量对应的候选商品嵌入向量;
长期偏好向量确定模块600,用于根据各个历史购物车向量和各个候选商品嵌入向量,确定所述用户的长期偏好向量;
混合偏好向量确定模块700,用于根据所述短期偏好向量和所述长期偏好向量确定混合偏好向量;
综合偏好向量确定模块800,用于将所述混合偏好向量输入输入LSTM网络,得到所述用户的综合偏好向量;
商品确定模块900,用于根据所述综合偏好向量,从所述历史购买商品集合中确定推荐的商品。
其中,所述短期偏好向量确定模块包括:
第一相关性向量确定单元,用于根据各个目标商品嵌入向量以及对应的候选商品嵌入向量,确定各个目标商品嵌入向量的第一相关性向量;
第一加权系数确定单元,用于对各个目标商品嵌入向量的第一相关性向量进行标准化处理,得到各个目标商品嵌入向量的加权系数;
短期偏好向量确定单元,用于利用各个目标商品嵌入向量及对应的加权系数,确定所述用户的短期偏好向量。
其中,所述长期偏好向量确定模块包括:
第二相关性向量确定单元,用于根据各个历史购物车向量和各个候选商品嵌入向量,确定各个历史购物车向量的第二相关性向量;
第二加权系数确定单元,用于对各个历史购物车向量的第二相关性向量进行标准化处理,得到各个历史购物车向量的加权系数;
长期偏好向量确定单元,用于利用各个历史购物车向量及对应的加权系数,确定所述用户的长期偏好向量。
其中,所述商品确定模块,包括:
推荐概率确定单元,用于利用各个目标商品嵌入向量、历史购买商品集合的各个候选商品嵌入向量以及所述综合偏好向量,确定每个候选商品的推荐概率;
推荐单元,用于根据各个候选商品的推荐概率,确定推荐的商品。
参见图5,本发明实施例还公开了一种基于自适应注意力机制的推荐设备1,包括:
存储器11,用于存储计算机程序;
处理器12,用于执行所述计算机程序时实现如上述方法实施例所述的推荐方法的步骤。
在本实施例中,设备1可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。
该设备1可以包括存储器11、处理器12和总线13。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备1的内部存储单元,例如该设备1的硬盘。存储器11在另一些实施例中也可以是设备1的外部存储设备,例如设备1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备1的应用软件及各类数据,例如:执行推荐方法的程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行推荐方法的程序等。
该总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,设备还可以包括网络接口14,网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该设备1与其他电子设备之间建立通信连接。
可选地,该设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在设备1中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有组件11-14的设备1,本领域技术人员可以理解的是,图5示出的结构并不构成对设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法实施例所述的推荐方法的步骤。
其中,该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于自适应注意力机制的推荐方法,其特征在于,包括:
确定用户当前购物车的各个目标商品嵌入向量;
从所述用户的历史购买商品集合中,确定与每个目标商品嵌入向量对应的候选商品嵌入向量,并根据各个目标商品嵌入向量和各个候选商品嵌入向量,确定所述用户的短期偏好向量;
确定所述用户的各个历史购物车向量;
从所述用户的历史购买商品集合中,确定与每个历史购物车向量对应的候选商品嵌入向量,并根据各个历史购物车向量和各个候选商品嵌入向量,确定所述用户的长期偏好向量;
根据所述短期偏好向量和所述长期偏好向量确定混合偏好向量;
将所述混合偏好向量输入输入LSTM网络,得到所述用户的综合偏好向量;
根据所述综合偏好向量,从所述历史购买商品集合中确定推荐的商品。
2.根据权利要求1所述的推荐方法,其特征在于,所述根据各个目标商品嵌入向量和各个候选商品嵌入向量,确定所述用户的短期偏好向量,包括:
根据各个目标商品嵌入向量以及对应的候选商品嵌入向量,确定各个目标商品嵌入向量的第一相关性向量;
对各个目标商品嵌入向量的第一相关性向量进行标准化处理,得到各个目标商品嵌入向量的加权系数;
利用各个目标商品嵌入向量及对应的加权系数,确定所述用户的短期偏好向量。
3.根据权利要求1所述的推荐方法,其特征在于,所述根据各个历史购物车向量和各个候选商品嵌入向量,确定所述用户的长期偏好向量,包括:
根据各个历史购物车向量和各个候选商品嵌入向量,确定各个历史购物车向量的第二相关性向量;
对各个历史购物车向量的第二相关性向量进行标准化处理,得到各个历史购物车向量的加权系数;
利用各个历史购物车向量及对应的加权系数,确定所述用户的长期偏好向量。
4.根据权利要求1至3中任意一项所述的推荐方法,其特征在于,根据所述综合偏好向量,从所述历史购买商品集合中确定推荐的商品,包括:
利用各个目标商品嵌入向量、历史购买商品集合的各个候选商品嵌入向量以及所述综合偏好向量,确定每个候选商品的推荐概率;
根据各个候选商品的推荐概率,确定推荐的商品。
5.一种基于自适应注意力机制的推荐装置,其特征在于,包括:
目标商品嵌入向量确定模块,用于确定用户当前购物车的各个目标商品嵌入向量;
第一候选商品嵌入向量确定模块,用于从所述用户的历史购买商品集合中,确定与每个目标商品嵌入向量对应的候选商品嵌入向量;
短期偏好向量确定模块,用于根据各个目标商品嵌入向量和各个候选商品嵌入向量,确定所述用户的短期偏好向量;
历史购物车向量确定模块,用于确定所述用户的各个历史购物车向量;
第二候选商品嵌入向量确定模块,用于从所述用户的历史购买商品集合中,确定与每个历史购物车向量对应的候选商品嵌入向量;
长期偏好向量确定模块,用于根据各个历史购物车向量和各个候选商品嵌入向量,确定所述用户的长期偏好向量;
混合偏好向量确定模块,用于根据所述短期偏好向量和所述长期偏好向量确定混合偏好向量;
综合偏好向量确定模块,用于将所述混合偏好向量输入输入LSTM网络,得到所述用户的综合偏好向量;
商品确定模块,用于根据所述综合偏好向量,从所述历史购买商品集合中确定推荐的商品。
6.根据权利要求5所述的推荐装置,其特征在于,所述短期偏好向量确定模块包括:
第一相关性向量确定单元,用于根据各个目标商品嵌入向量以及对应的候选商品嵌入向量,确定各个目标商品嵌入向量的第一相关性向量;
第一加权系数确定单元,用于对各个目标商品嵌入向量的第一相关性向量进行标准化处理,得到各个目标商品嵌入向量的加权系数;
短期偏好向量确定单元,用于利用各个目标商品嵌入向量及对应的加权系数,确定所述用户的短期偏好向量。
7.根据权利要求5所述的推荐装置,其特征在于,所述长期偏好向量确定模块包括:
第二相关性向量确定单元,用于根据各个历史购物车向量和各个候选商品嵌入向量,确定各个历史购物车向量的第二相关性向量;
第二加权系数确定单元,用于对各个历史购物车向量的第二相关性向量进行标准化处理,得到各个历史购物车向量的加权系数;
长期偏好向量确定单元,用于利用各个历史购物车向量及对应的加权系数,确定所述用户的长期偏好向量。
8.根据权利要求5至7中任意一项所述的推荐装置,其特征在于,所述商品确定模块,包括:
推荐概率确定单元,用于利用各个目标商品嵌入向量、历史购买商品集合的各个候选商品嵌入向量以及所述综合偏好向量,确定每个候选商品的推荐概率;
推荐单元,用于根据各个候选商品的推荐概率,确定推荐的商品。
9.一种基于自适应注意力机制的推荐设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述的推荐方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的推荐方法的步骤。
CN201910399853.XA 2019-05-14 2019-05-14 基于注意力机制的推荐方法、装置、设备及存储介质 Active CN110097433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910399853.XA CN110097433B (zh) 2019-05-14 2019-05-14 基于注意力机制的推荐方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910399853.XA CN110097433B (zh) 2019-05-14 2019-05-14 基于注意力机制的推荐方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110097433A true CN110097433A (zh) 2019-08-06
CN110097433B CN110097433B (zh) 2022-05-17

Family

ID=67448050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910399853.XA Active CN110097433B (zh) 2019-05-14 2019-05-14 基于注意力机制的推荐方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110097433B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880127A (zh) * 2019-10-24 2020-03-13 北京三快在线科技有限公司 消费水平的预测方法、装置、电子设备及存储介质
CN111159473A (zh) * 2019-12-25 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种基于深度学习与马尔科夫链的连接的推荐方法
CN111242729A (zh) * 2020-01-07 2020-06-05 西北工业大学 一种基于长短期兴趣的序列化推荐方法
CN111476643A (zh) * 2020-04-15 2020-07-31 创新奇智(重庆)科技有限公司 兴趣商品预测方法、装置、电子设备及计算机存储介质
CN111538907A (zh) * 2020-06-05 2020-08-14 支付宝(杭州)信息技术有限公司 一种对象推荐方法、系统及装置
CN111625710A (zh) * 2020-04-09 2020-09-04 北京百度网讯科技有限公司 推荐内容的处理方法、装置、电子设备及可读存储介质
CN111626831A (zh) * 2020-06-02 2020-09-04 重庆智者炎麒科技有限公司 一种基于神经网络的售票方法及票务系统
CN112132660A (zh) * 2020-09-25 2020-12-25 尚娱软件(深圳)有限公司 商品推荐方法、系统、设备及存储介质
CN113486250A (zh) * 2021-07-28 2021-10-08 中移(杭州)信息技术有限公司 内容推荐方法、装置、设备及计算机可读存储介质
CN113744020A (zh) * 2021-01-15 2021-12-03 北京沃东天骏信息技术有限公司 一种商品文案处理方法、装置、电子设备和存储介质
CN113793167A (zh) * 2021-02-03 2021-12-14 北京沃东天骏信息技术有限公司 用于生成信息的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516235A (zh) * 2016-06-17 2017-12-26 阿里巴巴集团控股有限公司 商品偏好预估方法和装置
CN108648049A (zh) * 2018-05-03 2018-10-12 中国科学技术大学 一种基于用户行为区别建模的序列推荐方法
US20190057435A1 (en) * 2016-02-26 2019-02-21 Imagr Limited System and methods for shopping in a physical store

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190057435A1 (en) * 2016-02-26 2019-02-21 Imagr Limited System and methods for shopping in a physical store
CN107516235A (zh) * 2016-06-17 2017-12-26 阿里巴巴集团控股有限公司 商品偏好预估方法和装置
CN108648049A (zh) * 2018-05-03 2018-10-12 中国科学技术大学 一种基于用户行为区别建模的序列推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
文哥的学习日记: ""推荐系统遇上深度学习(三十一)--使用自注意力机制进行物品推荐"(https://www.jianshu.com/p/9eb209343c56)", 《简书》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880127A (zh) * 2019-10-24 2020-03-13 北京三快在线科技有限公司 消费水平的预测方法、装置、电子设备及存储介质
CN110880127B (zh) * 2019-10-24 2022-04-12 北京三快在线科技有限公司 消费水平的预测方法、装置、电子设备及存储介质
CN111159473A (zh) * 2019-12-25 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种基于深度学习与马尔科夫链的连接的推荐方法
WO2021139164A1 (zh) * 2020-01-07 2021-07-15 西北工业大学 一种基于长短期兴趣的序列化推荐方法
CN111242729A (zh) * 2020-01-07 2020-06-05 西北工业大学 一种基于长短期兴趣的序列化推荐方法
CN111625710A (zh) * 2020-04-09 2020-09-04 北京百度网讯科技有限公司 推荐内容的处理方法、装置、电子设备及可读存储介质
CN111476643A (zh) * 2020-04-15 2020-07-31 创新奇智(重庆)科技有限公司 兴趣商品预测方法、装置、电子设备及计算机存储介质
CN111626831A (zh) * 2020-06-02 2020-09-04 重庆智者炎麒科技有限公司 一种基于神经网络的售票方法及票务系统
CN111538907A (zh) * 2020-06-05 2020-08-14 支付宝(杭州)信息技术有限公司 一种对象推荐方法、系统及装置
CN111538907B (zh) * 2020-06-05 2023-04-18 支付宝(杭州)信息技术有限公司 一种对象推荐方法、系统及装置
CN112132660A (zh) * 2020-09-25 2020-12-25 尚娱软件(深圳)有限公司 商品推荐方法、系统、设备及存储介质
CN112132660B (zh) * 2020-09-25 2023-12-26 尚娱软件(深圳)有限公司 商品推荐方法、系统、设备及存储介质
CN113744020A (zh) * 2021-01-15 2021-12-03 北京沃东天骏信息技术有限公司 一种商品文案处理方法、装置、电子设备和存储介质
CN113793167A (zh) * 2021-02-03 2021-12-14 北京沃东天骏信息技术有限公司 用于生成信息的方法和装置
CN113486250A (zh) * 2021-07-28 2021-10-08 中移(杭州)信息技术有限公司 内容推荐方法、装置、设备及计算机可读存储介质
CN113486250B (zh) * 2021-07-28 2023-09-05 中移(杭州)信息技术有限公司 内容推荐方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110097433B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN110097433A (zh) 基于注意力机制的推荐方法、装置、设备及存储介质
CN110245299B (zh) 一种基于动态交互注意力机制的序列推荐方法及其系统
CN105046515B (zh) 广告排序方法及装置
Taleizadeh et al. A hybrid method of Pareto, TOPSIS and genetic algorithm to optimize multi-product multi-constraint inventory control systems with random fuzzy replenishments
CN108648049A (zh) 一种基于用户行为区别建模的序列推荐方法
CN108446374A (zh) 用户意图预测方法、装置、电子设备、存储介质
CN108205699A (zh) 生成用于神经网络输出层的输出
US11830033B2 (en) Theme recommendation method and apparatus
CN108140075A (zh) 将用户行为分类为异常
CN109509056A (zh) 基于对抗网络的商品推荐方法、电子装置及存储介质
CN107969156A (zh) 用于处理图形数据的神经网络
Ding et al. Multi-objective optimization based ranking prediction for cloud service recommendation
Lee et al. Learning to rank products based on online product reviews using a hierarchical deep neural network
CN109359247A (zh) 内容推送方法及存储介质、计算机设备
Chang et al. A hybrid fuzzy model for selecting and evaluating the e-book business model: A case study on Taiwan e-book firms
CN110060167A (zh) 一种保险产品推荐方法、服务器及计算机可读介质
CN110503506A (zh) 基于评分数据的物品推荐方法、装置及介质
CN109903082A (zh) 基于用户画像的聚类方法、电子装置及存储介质
Charlin et al. A framework for optimizing paper matching
CN107093122B (zh) 对象分类方法及装置
CN114511387A (zh) 产品推荐方法、装置、电子设备及存储介质
CN113688306A (zh) 一种基于强化学习的推荐策略生成方法及装置
CN111161009B (zh) 信息推送方法、装置、计算机设备和存储介质
CN110321490A (zh) 推荐方法、装置、设备及计算机可读存储介质
CN109886299A (zh) 一种用户画像方法、装置、可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant