CN112905886A - 一种基于多兴趣重复网络的会话推荐方法 - Google Patents
一种基于多兴趣重复网络的会话推荐方法 Download PDFInfo
- Publication number
- CN112905886A CN112905886A CN202110197639.3A CN202110197639A CN112905886A CN 112905886 A CN112905886 A CN 112905886A CN 202110197639 A CN202110197639 A CN 202110197639A CN 112905886 A CN112905886 A CN 112905886A
- Authority
- CN
- China
- Prior art keywords
- interest
- user
- item
- sequence
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000002452 interceptive effect Effects 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 85
- 239000002775 capsule Substances 0.000 claims description 77
- 230000007246 mechanism Effects 0.000 claims description 23
- 238000012512 characterization method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 20
- 239000000126 substance Substances 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000008685 targeting Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000008451 emotion Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 235000021152 breakfast Nutrition 0.000 description 12
- 230000003252 repetitive effect Effects 0.000 description 12
- 230000006399 behavior Effects 0.000 description 11
- 235000013305 food Nutrition 0.000 description 6
- 235000015219 food category Nutrition 0.000 description 6
- 239000008267 milk Substances 0.000 description 6
- 235000013336 milk Nutrition 0.000 description 6
- 210000004080 milk Anatomy 0.000 description 6
- 238000013507 mapping Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 235000013601 eggs Nutrition 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003989 repetitive behavior Effects 0.000 description 3
- 208000013406 repetitive behavior Diseases 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Analysis (AREA)
- Marketing (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Algebra (AREA)
- Game Theory and Decision Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于多兴趣重复网络的会话推荐方法,对当前会话中的多兴趣和用户历史购买物品序列中的多兴趣进行建模,并预测用户下一个交互的物品。本发明的向前传播部分主要由五个部分组成:第一部分是根据用户当前交互会话序列,得到用户当前多兴趣表征。第二部分是根据用户历史购买物品序列,得到用户历史购买多兴趣表征。第三部分是根据用户当前多兴趣表征和用户历史购买多兴趣表征,得到重复推荐模式的概率。第四部分是在重复模式下,根据用户的当前多兴趣表征和历史购买多兴趣表征,在用户历史购买的物品序列中进行推荐。第五部分是在探索模式下,根据用户的当前多兴趣表征,对不在用户历史购买物品序列中的物品进行推荐。
Description
技术领域
本发明属于互联网服务技术领域,尤其是涉及一种基于多兴趣重复网络的会话推荐方法。
背景技术
随着在线服务的发展和流行,在线平台记录着大量的用户行为数据。从海量数据中找出用户最感兴趣的物品并推荐给用户,可以极大地提升用户的满意度和公司的收益。此时,推荐系统显得非常重要。推荐系统可以从海量物品中挖掘出用户最喜欢的物品。
会话(session)指一段时间内用户交互的物品序列,一般通过用户行为之间的时间间隔进行划分。用户在一个会话中会有特定的一些目的。传统的会话推荐方法认为用户在一个会话内只有一个目的或者兴趣,或者说会话内的物品是同质的,会话间的物品是异质的。这样的假设和实际情况不符,用户往往在一个时间段内会有多个兴趣,比如,在某店铺中同时浏览了羽绒服和裤子。此时,用一个向量来表示用户的兴趣就不够准确,会导致用户的主要兴趣覆盖用户的次要兴趣。所以,本方法从用户会话中的物品序列中抽取出用户多兴趣表征,本方法是一种基于多兴趣的会话推荐方法。
传统的推荐方法是基于一个物品候选集,从中推荐用户感兴趣的物品。本方法考虑用户的重复购买行为,因为用户在在线平台上会有固定的习惯。比如,在电商平台上,用户经常会重复购买固定的商品;在音乐平台上,用户会经常重复听同一首歌曲。工业界已经有相关的应用。如,“淘宝”APP在订单页面会有“常购好货”的功能展示,从该用户历史购买商品中推荐用户当下还有可能感兴趣的商品。关于重复行为这个场景的论文或者方法不多,其中,Ren等人提出了重复网络(RepeatNet)来解决重复消费推荐问题,但是该论文提出的解法和问题定义不符。重复网络(RepeatNet)方法在介绍(introduction)中提出用户存在重复消费行为,所以在推荐物品时应考虑到用户这一消费规律。但是在方法(method)中,推荐重复的物品是在当前会话中的物品序列中推荐,而不是在用户的历史购买序列中推荐,和问题定义不符。且用户在短时间内,也就是在一个会话内部重复购买相同物品的可能性很低。另外,重复网络(RepeatNet)推荐物品是基于用户单兴趣向量表征进行推荐,所以从历史交互物品中推荐物品时,物品种类较为单一。比如,用户在当前会话中同时看了早餐食品类和生活日用品类的物品,且早餐食品类的物品是主要兴趣。那么基于单兴趣的推荐可能只推荐早餐食品类的牛奶、鸡蛋等,但是基于多兴趣的推荐方法会同时推荐早餐食品类的牛奶和生活日用品的垃圾袋等。这样的推荐结果更加多样性,也更符合平台的产品思维。所以,本方法是一种同时考虑用户多兴趣和用户重复购买行为的会话推荐方法。
发明内容
本方法的问题定义为基于当前会话中的物品序列和用户历史购买物品序列,预测用户在当前会话中下一个感兴趣的物品。用户的当前会话可以表示为ST={x1,x2,…,xτ,…,xt},其中,xτ代表用户交互的第τ个物品,且交互指代用户的点击、收藏、加购和购买等行为。且ST的向量表征为{x1,x2,…,xτ,…,xt},其中d是物品向量表征的长度。用户历史购买序列可以表示为BT-1={x1,x2,…,xl},用户历史消费序列BT-1的向量表征为其中上标a表示购买行为。此时,推荐下一个感兴趣物品的概率为P(xt+1∣ST,BT-1)。
本方法在推荐物品时,考虑从用户的历史购买物品集合中推荐物品。因为用户在在线平台上会有固定的习惯。比如,在电商平台上,用户经常会重复购买固定的商品;在音乐平台上,用户会经常重复听同一首歌曲。关于重复行为这个场景的论文或者方法不多,其中,Ren等人提出了重复网络(RepeatNet)来解决重复消费推荐问题,但是该论文提出的解法和问题定义不符。重复网络(RepeatNet)方法在介绍(introduction)中提出用户存在重复消费行为,所以在推荐物品时应考虑到用户这一消费规律。但是在方法(method)中,推荐重复的物品是在当前会话中的物品序列中推荐,而不是在用户的历史购买序列中推荐,和问题定义不符。且用户在短时间内,也就是在一个会话内部重复购买相同物品的可能性很低。另外,重复网络(RepeatNet)推荐物品是基于用户单兴趣向量表征进行推荐,所以从历史交互物品中推荐物品时,物品种类较为单一。比如,用户在当前会话中同时看了早餐食品类和生活日用品类的物品,且早餐食品类的物品是主要兴趣。那么基于单兴趣的推荐可能只推荐早餐食品类的牛奶、鸡蛋等,但是基于多兴趣的推荐方法会同时推荐早餐食品类的牛奶和生活日用品的垃圾袋等。这样的推荐结果更加多样性,也更符合平台的产品思维。为此,本发明采用以下技术方案:
一种基于多兴趣重复网络的会话推荐方法,包括以下步骤:
根据用户当前交互会话序列,得到用户当前多兴趣表征。用户当前交互的会话可以表示为ST={x1,x2,…,xτ,…,xt},其中,xτ代表用户交互的第τ个物品,T表示当前会话的时间段下标,且ST的向量表征为{x1,x2,…,xτ,…,xt},其中d是物品向量表征的长度。采用基于门机制的多兴趣胶囊网络从物品序列中抽取出用户多兴趣,多兴趣胶囊网络的低层(low layer)是物品胶囊(item capsule),高层(high layer)是兴趣胶囊(interestcapsule)。基于门机制的多兴趣胶囊网络的伪代码为:
其中,为会话中第i个物品向量表征,是第j个兴趣的表征且qj为所有用户共享。用户兴趣的个数参数为M。和是第j个兴趣的转移矩阵,是第j个模块的偏置向量。为转移矩阵,被所有兴趣共享。⊙是门机制中常用的向量元素级别(element-wise)的乘法。通过兴趣相关的门机制(interest-specificgating mechanism)和转移矩阵,可以从物品向量xi中抽取出不同兴趣空间下的向量表征原始的胶囊网络中的公式是本方法将该公式改成门机制,降低模型参数大小,也更符合推荐场景。方法是胶囊网络中的动态路由部分,输入参数是第i个物品向量表征xi映射到第j个兴趣空间的向量表征,输入参数r是动态路由算法的迭代次数。方法的输出参数vj代表用户多兴趣向量表征。bij是第i个物品向量表征到第j个兴趣的连接系数,cij是系数bij归一化后的连接系数。squash是胶囊网络中常用的squash向量激活函数,公式为 从激活公式中可以看出,输出的兴趣向量vj的长度||vj||≤1,且向量长度||vj||代表兴趣vjj的概率,向量vj的方向代表兴趣vjj的属性。
根据用户历史购买物品序列,得到用户历史购买多兴趣表征。用户历史购买序列可以表示为BT-1={x1,x2,…,xl},用户历史消费序列BT-1的向量表征为其中上标a表示购买行为。本方法在基于门机制的多兴趣胶囊网络算法的基础上,继续改进胶囊网络从用户历史购买物品序列中抽取出用户多兴趣。为了使得在重复模式中,增加推荐结果的多样性,本方法改进胶囊网络连接系数bij的归一化方式。原本胶囊网络用于分类,在本问题定义中,分类就是该物品体现用户哪种兴趣。为了增强推荐结果的多样性,本方法同时增加同一兴趣下的不同物品之间连接系数cij的差异性,使得推荐结果偏向于推荐不同兴趣下的物品,而不是相同兴趣下的不同物品。一种增强推荐多样性的多兴趣胶囊网络算法伪代码为:
一种增强推荐多样性的多兴趣胶囊网络算法伪代码
其中,为用户历史购买序列中第i个物品向量表征。 以及和从用户当前交互会话序列中抽取多兴趣的胶囊网络共享。方法是胶囊网络中的动态路由部分,输入参数是第i个购买物品向量表征映射到第j个购买兴趣空间的向量表征,输入参数ra是动态路由算法的迭代次数。方法的输出参数代表用户历史购买多兴趣向量表征。是第i个购买物品向量表征到第j个购买兴趣的连接系数,是系数归一化后的连接参数。表示在购买兴趣胶囊内对参数进行归一化,τ是温度系数。当τ→0+,购买兴趣胶囊趋向于只关注一个物品胶囊。而当τ→∞,物品胶囊对于情感胶囊的作用趋于一致。所以可以通过温度系数τ来控制推荐的多样性,当τ→0+,推荐结果更能够体现用户兴趣的多样性。而当τ→∞,推荐结果偏向于从主要兴趣中挑选相关物品。是在购买兴趣胶囊间对参数进行归一化,用于对物品胶囊进行兴趣分类,即判断物品体现用户哪种购买兴趣。squash是胶囊网络中常用的squash向量激活函数,公式为输出的购买兴趣向量的长度且向量长度代表购买兴趣的概率,向量的方向代表购买兴趣的属性。
根据用户当前多兴趣表征和用户历史购买多兴趣表征,得到重复推荐模式(推荐用户历史购买物品)的概率。在本方法中,基于用户的当前会话ST和用户历史购买物品序列BT-1,推荐下一个交互物品xt+1的概率P(xt+1∣ST,BT-1)可以进一步分解为:
P(xt+1∣ST,BT-1)=P(r∣ST,BT-1)·P(xt+1∣r,ST,BT-1)+(1-P(r∣ST,BT-1))·P(xt+1∣e,ST)
其中,r和e分别代表重复模式(repeat mode)和探索模式(explore mode),重复模式指在用户历史购买物品集中推荐,探索模式指在用户历史购买物品集以外的候选物品集中推荐。P(r∣ST,BT-1)代表基于当前交互会话序列ST和用户历史购买物品序列BT-1,重复模式的概率。P(xt+1∣r,ST,BT-1)和P(xt+1∣e,ST)分别代表在重复模式和探索模式下,推荐物品xt+1的概率。该方法常见于自然语言处理(NLP)中的复制机制(copy mechanism)。重复模式的概率P(r∣ST,BT-1)主要由当前会话中抽取的多兴趣vj决定,且多兴趣vj的权重由历史购买兴趣和当前兴趣vjj的相似度决定,这里采用余弦相似度来计算向量相似度。参数是转化向量,σ是sigmoid函数。
在重复模式下,根据用户的当前多兴趣表征和历史购买多兴趣表征,在用户历史购买的物品序列中进行推荐。推荐物品xi∈BT-1的概率为P(xi∣r,ST,BT-1):
在探索模式下,根据用户的当前多兴趣表征,对不在用户历史购买物品序列中的物品进行推荐。
构建损失函数,训练模型参数。采用对数似然损失函数:
其中,是训练集中所有的会话序列。P(xτ∣ST,BT-1)表示基于用户的当前会话ST和用户历史购买物品序列BT-1,预测用户下一个交互物品xτ的概率,xτ是会话序列中真实交互的物品。我们采用Adam优化器更新模型参数。
本发明的有益技术效果如下:
(1)本发明考虑到推荐场景中的重复购买现象,基于当前用户会话序列,考虑从用户历史购买商品中推荐用户可能感兴趣的商品。并且在判断是选择重复模式还是探索模式时,既考虑当前会话中的用户兴趣,又考虑用户历史购买物品序列中的用户兴趣。
(2)本发明考虑到重复推荐问题中用户兴趣的多样性问题,采用基于门机制的多兴趣胶囊网络算法分别从用户当前会话序列和用户历史购买物品序列中抽取用户的多兴趣,提高推荐的准确性和多样性。
(3)本发明在重复推荐模式下,改变原始胶囊网络中连接系数的归一化方式,使得可以根据具体场景调节温度系数,进而进一步增强推荐的多样性。
附图说明
图1为本发明一种基于多兴趣重复网络的会话推荐方法的流程示意图;
图2为本发明一种基于多兴趣重复网络的会话推荐方法的模型框架图。
具体实施方式
为了进一步理解本发明,下面结合具体实施方式对本发明提供的一种基于多兴趣重复网络的会话推荐方法进行具体描述,但本发明并不限于此,该领域技术人员在本发明核心指导思想下做出的非本质改进和调整,仍然属于本发明的保护范围。
会话(session)指一段时间内用户交互的物品序列,一般通过用户行为之间的时间间隔进行划分。用户在一个会话中会有特定的一些目的。传统的会话推荐方法认为用户在一个会话内只有一个目的或者兴趣,或者说会话内的物品是同质的,会话间的物品是异质的。这样的假设和实际情况不符,用户往往在一个时间段内会有多个兴趣,比如,在某店铺中同时浏览了羽绒服和裤子。此时,用一个向量来表示用户的兴趣就不够准确,会导致用户的主要兴趣覆盖用户的次要兴趣。所以,本方法从用户会话中的物品序列中抽取出用户多兴趣表征,本方法是一种基于多兴趣的会话推荐方法。
传统的推荐方法是基于一个物品候选集,从中推荐用户感兴趣的物品。本方法考虑用户的重复购买行为,因为用户在在线平台上会有固定的习惯。比如,在电商平台上,用户经常会重复购买固定的商品;在音乐平台上,用户会经常重复听同一首歌曲。工业界已经有相关的应用。如,“淘宝”APP在订单页面会有“常购好货”的功能展示,从该用户历史购买商品中推荐用户当下还有可能感兴趣的商品。关于重复行为这个场景的论文或者方法不多,其中,Ren等人提出了重复网络(RepeatNet)来解决重复消费推荐问题,但是该论文提出的解法和问题定义不符。重复网络(RepeatNet)方法在介绍(introduction)中提出用户存在重复消费行为,所以在推荐物品时应考虑到用户这一消费规律。但是在方法(method)中,推荐重复的物品是在当前会话中的物品序列中推荐,而不是在用户的历史购买序列中推荐,和问题定义不符。且用户在短时间内,也就是在一个会话内部重复购买相同物品的可能性很低。另外,重复网络(RepeatNet)推荐物品是基于用户单兴趣向量表征进行推荐,所以从历史交互物品中推荐物品时,物品种类较为单一。比如,用户在当前会话中同时看了早餐食品类和生活日用品类的物品,且早餐食品类的物品是主要兴趣。那么基于单兴趣的推荐可能只推荐早餐食品类的牛奶、鸡蛋等,但是基于多兴趣的推荐方法会同时推荐早餐食品类的牛奶和生活日用品的垃圾袋等。这样的推荐结果更加多样性,也更符合平台的产品思维。
一种基于多兴趣重复网络的会话推荐方法的向前传播(forward propagation)部分主要由五个部分组成,如图2所示。第一部分是根据用户当前交互会话序列,得到用户当前多兴趣表征。第二部分是根据用户历史购买物品序列,得到用户历史购买多兴趣表征。第一部分和第二部分是使用改进的胶囊网络方法从用户当前会话序列和用户历史购买序列分别抽取出当前多兴趣向量表征和用户历史购买多兴趣表征。本方法摒弃原先应用于图像的胶囊网络中的映射参数,原先的映射参数是所有输入物品和所有兴趣之间不共享的,导致映射参数占用过大内存。本方法采用基于兴趣的门机制(interest-specific gatingmechanism)对物品向量进行信息过滤,再采用所有输入物品和所有兴趣共享的映射矩阵进行向量转换。并且从用户历史购买序列中抽取用户历史购买多兴趣表征时,进一步改变胶囊网络连接参数的归一化方式。使得连接参数不仅可以对物品进行兴趣分类,还增大同一兴趣下不同物品之间的区分性,进而增强重复推荐模式下的推荐物品的多样性。第三部分是根据用户当前多兴趣表征和用户历史购买多兴趣表征,得到重复推荐模式(推荐用户历史购买物品)的概率。重复模式是指推荐用户历史购买过的物品,探索模式是指推荐用户从未购买过的商品。第四部分是在重复模式下,根据用户的当前多兴趣表征和历史购买多兴趣表征,在用户历史购买的物品序列中进行推荐。第五部分是在探索模式下,根据用户的当前多兴趣表征,对不在用户历史购买物品序列中的物品进行推荐。
本方法的问题定义为基于当前会话中的物品序列和用户历史购买物品序列,预测用户在当前会话中下一个感兴趣的物品。方法在推荐物品时,考虑从用户的历史购买物品集合中推荐物品。用户的当前会话可以表示为ST={x1,x2,…,xτ,…,xt},其中,xτ代表用户交互的第τ个物品,且交互指代用户的点击、收藏、加购和购买等行为。且ST的向量表征为{x1,x2,…,xτ,…,xt},其中d是物品向量表征的长度。用户历史购买序列可以表示为BT-1={x1,x2,…,xl},用户历史消费序列BT-1的向量表征为其中上标a表示购买行为。此时,推荐下一个感兴趣物品的概率为P(xt+1∣ST,BT-1)。
如图1所示,按照本发明的一个实施例,本方法包括如下步骤:
S100,根据用户当前交互会话序列,得到用户当前多兴趣表征。用户当前交互的会话可以表示为ST={x1,x2,…,xτ,…,xt},其中,xτ代表用户交互的第τ个物品,T表示当前会话的时间段下标,且ST的向量表征为{x1,x2,…,xτ,…,xt},其中d是物品向量表征的长度。采用基于门机制的多兴趣胶囊网络从物品序列中抽取出用户多兴趣,多兴趣胶囊网络的低层(low layer)是物品胶囊(item capsule),高层(high layer)是兴趣胶囊(interest capsule)。基于门机制的多兴趣胶囊网络的伪代码为:
基于门机制的多兴趣胶囊网络算法伪代码
其中,为会话中第i个物品向量表征,是第j个兴趣的表征且qj为所有用户共享。用户兴趣的个数参数为M,本方法中M取值为3。和是第j个兴趣的转移矩阵,是第j个模块的偏置向量。为转移矩阵,被所有兴趣共享。⊙是门机制中常用的向量元素级别(element-wise)的乘法。通过兴趣相关的门机制(interest-specific gating mechanism)和转移矩阵,可以从物品向量xi中抽取出不同兴趣空间下的向量表征原始的胶囊网络中的公式是本方法将该公式改成门机制,使得更符合推荐场景。方法是胶囊网络中的动态路由部分,输入参数是第i个物品向量表征xi映射到第j个兴趣空间的向量表征,输入参数r是动态路由算法的迭代次数,本实验中迭代次数r设置为2。方法的输出参数vj代表用户多兴趣向量表征。bij是第i个物品向量表征到第j个兴趣的连接系数,cij是参数bij归一化后的连接参数。squash是胶囊网络中常用的squash向量激活函数,公式为输出的兴趣向量vj的长度||vj||≤1,且向量长度||vjj||代表兴趣vjj的概率,向量vj的方向代表兴趣vjj的属性。
S200,根据用户历史购买物品序列,得到用户历史购买多兴趣表征。用户历史购买序列可以表示为BT-1={x1,x2,…,xl},用户历史消费序列BT-1的向量表征为其中上标a表示购买行为。本方法在基于门机制的多兴趣胶囊网络算法的基础上,继续改进胶囊网络从用户历史购买物品序列中抽取出用户多兴趣。为了使得在重复模式中,增加推荐结果的多样性,本方法改进胶囊网络连接系数bij的归一化方式。原本胶囊网络用于分类,在本问题定义中,就是该物品体现用户哪种兴趣。为了增强推荐结果的多样性,本方法同时增加相同兴趣下的物品之间连接系数cij的差异性,使得推荐结果偏向于推荐不同兴趣下的不同物品,而不是相同兴趣下的不同物品。一种增强推荐多样性的多兴趣胶囊网络算法伪代码为:
其中,为用户历史购买序列中第i个物品向量表征。 以及和从用户当前交互会话序列中抽取多兴趣的胶囊网络共享。方法是胶囊网络中的动态路由部分,输入参数是第i个购买物品向量表征映射到第j个购买兴趣空间的向量表征,输入参数ra是动态路由算法的迭代次数,本实验中迭代次数ra设置为2。方法的输出参数代表用户历史购买多兴趣向量表征。是第i个购买物品向量表征到第j个购买兴趣的连接系数,是系数归一化后的连接参数。表示在购买兴趣胶囊内对参数进行归一化,τ是温度系数。当τ→0+,购买兴趣胶囊趋向于只关注一个物品胶囊。而当τ→∞,物品胶囊对于情感胶囊的作用趋于一致。所以可以通过温度系数τ来控制推荐的多样性,当τ→0+,推荐结果更能够体现用户兴趣的多样性。而当τ→∞,推荐结果偏向于从主要兴趣中挑选相关物品。本实验中温度系数τ设置为0.8。是在购买兴趣胶囊间对参数进行归一化,用于对物品胶囊进行兴趣分类,即判断物品体现用户哪种购买兴趣。squash是胶囊网络中常用的squash向量激活函数,公式为输出的购买兴趣向量的长度且向量长度代表购买兴趣的概率,向量的方向代表购买兴趣的属性。
S300,根据用户当前多兴趣表征和用户历史购买多兴趣表征,得到重复推荐模式(推荐用户历史购买物品)的概率。在本方法中,基于用户的当前会话ST和用户历史购买物品序列BT-1,推荐下一个交互物品xt+1的概率P(xt+1∣ST,BT-1)可以进一步分解为:
P(xt+1∣ST,BT-1)=P(r∣ST,BT-1)·P(xt+1∣r,ST,BT-1)+(1-P(r∣ST,BT-1))·P(xt+1∣e,ST)
其中,r和e分别代表重复模式(repeat mode)和探索模式(explore mode),重复模式指在用户历史购买物品集中推荐,探索模式指在用户历史购买物品集以外的候选物品集中推荐。P(r∣ST,BT-1)代表基于当前交互会话序列ST和用户历史购买物品序列BT-1,重复模式的概率。P(xt+1∣r,ST,BT-1)和P(xt+1∣e,ST)分别代表在重复模式和探索模式下,推荐物品xt+1的概率。该方法常见于自然语言处理(NLP)中的复制机制(copy mechanism)。重复模式的概率P(r∣ST,BT-1)主要由当前会话中抽取的多兴趣vj决定,且多兴趣vj的权重由历史购买兴趣和当前兴趣vjj的相似度决定,这里采用余弦相似度来计算向量相似度。参数是转化向量,σ是sigmoid函数。
S400,在重复模式下,根据用户的当前多兴趣表征和历史购买多兴趣表征,在用户历史购买的物品序列中进行推荐。推荐物品xi∈BT-1的概率为P(xi∣r,ST,BT-1):
S500,在探索模式下,根据用户的当前多兴趣表征,对不在用户历史购买物品序列中的物品进行推荐。
S600,构建损失函数,训练模型参数。采用对数似然损失函数:
其中,是训练集中所有的会话序列。P(xτ∣ST,BT-1)表示基于用户的当前会话ST和用户历史购买物品序列BT-1,预测用户下一个交互物品xτ的概率,xτ是会话序列中真实交互的物品。我们采用Adam优化器更新模型参数。
上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (2)
1.一种基于多兴趣重复网络的会话推荐方法,其特征在于:
根据用户当前交互会话序列,得到用户当前多兴趣表征;用户当前交互的会话可以表示为ST={x1,x2,…,xτ,…,xt},其中,xτ代表用户交互的第τ个物品,T表示当前会话的时间段下标,且ST的向量表征为{x1,x2,…,xτ,…,xt},其中d是物品向量表征的长度;采用基于门机制的多兴趣胶囊网络从物品序列中抽取出用户多兴趣,伪代码为:
其中,为会话中第i个物品向量表征,是第j个兴趣的表征且qj为所有用户共享;用户兴趣的个数参数为M;和是第j个兴趣的训练参数;为转移矩阵,被所有兴趣共享;⊙是门机制中常用的向量元素级别(element-wise)的乘法;通过兴趣相关的门机制(interest-specific gating mechanism)和转移矩阵,可以从物品向量xi中抽取出不同兴趣空间下的向量表征 方法是胶囊网络中的动态路由部分,输入参数是第i个物品向量表征xi映射到第j个兴趣空间的向量表征,输入参数r是动态路由算法的迭代次数,输出参数vj代表用户多兴趣向量表征;bij是第i个物品向量表征到第j个兴趣的连接系数,cij是系数bij归一化后的连接系数;squash是胶囊网络中常用的squash向量激活函数,公式为
根据用户历史购买物品序列,得到用户历史购买多兴趣表征;用户历史购买物品序列可以表示为BT-1={x1,x2,…,xl},用户历史消费序列BT-1的向量表征为其中上标a表示购买行为;本方法在基于门机制的多兴趣胶囊网络算法的基础上,继续改进胶囊网络从用户历史购买物品序列中抽取出用户多兴趣;为了使得在重复模式中增加推荐结果的多样性,本方法提出一种增强推荐多样性的多兴趣胶囊网络算法;该算法根据场景继续改进胶囊网络连接系数bij的归一化方式;
根据用户当前多兴趣表征和用户历史购买多兴趣表征,得到重复推荐模式(推荐用户历史购买物品)的概率;基于用户的当前会话ST和用户历史购买物品序列BT-1,推荐下一个交互物品xt+1的概率P(xt+1|ST,BT-1)可以进一步分解为:
P(xt+1|ST,BT-1)=P(r|ST,BT-1)·P(xt+1|r,ST,BT-1)+(1-P(r|ST,BT-1))·P(xt+1|e,ST)
其中,r和e分别代表重复模式(repeat mode)和探索模式(explore mode),重复模式指在用户历史购买物品集中推荐,探索模式指在用户历史购买物品集以外的候选物品集中推荐;P(r|ST,BT-1)代表基于当前交互会话序列ST和用户历史购买物品序列BT-1,重复模式的概率;P(xt+1|r,ST,BT-1)和P(xt+1|e,ST)分别代表在重复模式和探索模式下,推荐物品xt+1的概率;重复模式的概率P(r|ST,BT-1)主要由当前会话中抽取的多兴趣vj决定,且多兴趣vj的权重由历史购买兴趣和当前兴趣vj的相似度决定,这里采用余弦相似度来计算向量相似度;参数是转化向量,σ是sigmoid函数;
在重复模式下,根据用户的当前多兴趣表征和历史购买多兴趣表征,在用户历史购买的物品序列中进行推荐;推荐物品xi∈BT-1的概率为P(xi∣r,ST,BT-1):
在探索模式下,根据用户的当前多兴趣表征,对不在用户历史购买物品序列中的物品进行推荐;
构建损失函数,训练模型参数;采用对数似然损失函数:
2.根据权利要求1所述的一种基于多兴趣重复网络的会话推荐方法,其中,所述一种增强推荐多样性的多兴趣胶囊网络算法的伪代码为:
其中,为用户历史购买序列中第i个物品向量表征; 以及和从用户当前交互会话序列中抽取多兴趣的胶囊网络共享;方法是胶囊网络中的动态路由部分,输入参数是第i个购买物品向量表征映射到第j个购买兴趣空间的向量表征,输入参数ra是动态路由算法的迭代次数;方法的输出参数代表用户历史购买多兴趣向量表征;是第i个购买物品向量表征到第j个购买兴趣的连接系数,是系数归一化后的连接参数;表示在购买兴趣胶囊内对参数进行归一化,τ是温度系数;当τ→0+,购买兴趣胶囊趋向于只关注一个物品胶囊;而当τ→∞,物品胶囊对于情感胶囊的作用趋于一致;所以可以通过温度系数τ来控制推荐的多样性,当τ→0+,推荐结果更能够体现用户兴趣的多样性;而当τ→∞,推荐结果偏向于从主要兴趣中挑选相关物品;是在购买兴趣胶囊间对参数进行归一化,用于对物品胶囊进行兴趣分类,即判断物品体现用户哪种购买兴趣;squash是胶囊网络中常用的squash向量激活函数,公式为输出的购买兴趣向量的长度且向量长度代表购买兴趣的概率,向量的方向代表购买兴趣的属性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110197639.3A CN112905886B (zh) | 2021-02-22 | 2021-02-22 | 一种基于多兴趣重复网络的会话推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110197639.3A CN112905886B (zh) | 2021-02-22 | 2021-02-22 | 一种基于多兴趣重复网络的会话推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112905886A true CN112905886A (zh) | 2021-06-04 |
CN112905886B CN112905886B (zh) | 2022-02-08 |
Family
ID=76124315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110197639.3A Active CN112905886B (zh) | 2021-02-22 | 2021-02-22 | 一种基于多兴趣重复网络的会话推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112905886B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220301024A1 (en) * | 2020-01-07 | 2022-09-22 | Northwestern Polytechnical University | Sequential recommendation method based on long-term and short-term interests |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170078170A1 (en) * | 2015-09-16 | 2017-03-16 | Cisco Technology, Inc. | Detecting oscillation anomalies in a mesh network using machine learning |
US10244286B1 (en) * | 2018-01-30 | 2019-03-26 | Fmr Llc | Recommending digital content objects in a network environment |
CN110008408A (zh) * | 2019-04-12 | 2019-07-12 | 山东大学 | 一种会话推荐方法、系统、设备及介质 |
CN110807156A (zh) * | 2019-10-23 | 2020-02-18 | 山东师范大学 | 一种基于用户序列点击行为的兴趣推荐方法及系统 |
CN111125537A (zh) * | 2019-12-31 | 2020-05-08 | 中国计量大学 | 一种基于图表征的会话推荐方法 |
CN111222054A (zh) * | 2020-01-03 | 2020-06-02 | 中国计量大学 | 一种基于上下文邻居关系建模的会话社交推荐方法 |
WO2020261234A1 (en) * | 2019-06-28 | 2020-12-30 | Tata Consultancy Services Limited | System and method for sequence labeling using hierarchical capsule based neural network |
CN112256916A (zh) * | 2020-11-12 | 2021-01-22 | 中国计量大学 | 一种基于图胶囊网络的短视频点击率预测方法 |
-
2021
- 2021-02-22 CN CN202110197639.3A patent/CN112905886B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170078170A1 (en) * | 2015-09-16 | 2017-03-16 | Cisco Technology, Inc. | Detecting oscillation anomalies in a mesh network using machine learning |
US10244286B1 (en) * | 2018-01-30 | 2019-03-26 | Fmr Llc | Recommending digital content objects in a network environment |
CN110008408A (zh) * | 2019-04-12 | 2019-07-12 | 山东大学 | 一种会话推荐方法、系统、设备及介质 |
WO2020261234A1 (en) * | 2019-06-28 | 2020-12-30 | Tata Consultancy Services Limited | System and method for sequence labeling using hierarchical capsule based neural network |
CN110807156A (zh) * | 2019-10-23 | 2020-02-18 | 山东师范大学 | 一种基于用户序列点击行为的兴趣推荐方法及系统 |
CN111125537A (zh) * | 2019-12-31 | 2020-05-08 | 中国计量大学 | 一种基于图表征的会话推荐方法 |
CN111222054A (zh) * | 2020-01-03 | 2020-06-02 | 中国计量大学 | 一种基于上下文邻居关系建模的会话社交推荐方法 |
CN112256916A (zh) * | 2020-11-12 | 2021-01-22 | 中国计量大学 | 一种基于图胶囊网络的短视频点击率预测方法 |
Non-Patent Citations (2)
Title |
---|
LUDEWIG M: "Evaluation of Session-based Recommendation Algorithms", 《USER MODELING AND USER-ADAPTED INTERACTION》 * |
陈婷: "基于隐私保护的个性化推荐系统的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220301024A1 (en) * | 2020-01-07 | 2022-09-22 | Northwestern Polytechnical University | Sequential recommendation method based on long-term and short-term interests |
Also Published As
Publication number | Publication date |
---|---|
CN112905886B (zh) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112598462B (zh) | 基于协同过滤和深度学习的个性化推荐方法及系统 | |
CN110717098B (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
CN110910218B (zh) | 一种基于深度学习的多行为迁移推荐方法 | |
Bauer et al. | Recommender systems based on quantitative implicit customer feedback | |
CN112364976B (zh) | 基于会话推荐系统的用户偏好预测方法 | |
CN111460130A (zh) | 信息推荐方法、装置、设备和可读存储介质 | |
CN112487199B (zh) | 一种基于用户购买行为的用户特征预测方法 | |
CN112819575B (zh) | 一种考虑重复购买行为的会话推荐方法 | |
CN113918832B (zh) | 基于社交关系的图卷积协同过滤推荐系统 | |
CN113918833B (zh) | 通过社交网络关系的图卷积协同过滤实现的产品推荐方法 | |
Yu et al. | Multi-linear interactive matrix factorization | |
CN113918834B (zh) | 融合社交关系的图卷积协同过滤推荐方法 | |
CN116167812A (zh) | 用于多行为推荐的异构协同过滤方法 | |
Guha | Improving the performance of an artificial intelligence recommendation engine with deep learning neural nets | |
CN112905886B (zh) | 一种基于多兴趣重复网络的会话推荐方法 | |
CN114169968A (zh) | 一种融合用户兴趣状态的多粒度会话推荐方法 | |
Patel et al. | Recommendation Systems: Types, Applications, and Challenges | |
CN113344648A (zh) | 一种基于机器学习的广告推荐方法及系统 | |
CN113590976A (zh) | 一种空间自适应图卷积网络的推荐方法 | |
CN110570226B (zh) | 一种联合主题模型和异质信息网络的评分预测方法 | |
CN114610913A (zh) | 多媒体数据的推荐方法、推荐模型训练方法及相关设备 | |
Kim et al. | Task-Oriented Collaborative Graph Embedding Using Explicit High-Order Proximity for Recommendation | |
Wei et al. | A novel image recommendation model based on user preferences and social relationships | |
BharathiPriya et al. | Online Video Game Recommendation System Using Content And Collaborative Filtering Techniques | |
Jang et al. | Attention-based multi attribute matrix factorization for enhanced recommendation performance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231009 Address after: Room 407-10, floor 4, building 2, Haichuang science and technology center, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Patentee after: Zhejiang Zhiduo Network Technology Co.,Ltd. Address before: 310018, No. 258, source street, Xiasha Higher Education Park, Hangzhou, Zhejiang Patentee before: China Jiliang University |
|
TR01 | Transfer of patent right |