CN115858926A - 基于用户的复杂多模式兴趣提取与建模的序列推荐方法 - Google Patents
基于用户的复杂多模式兴趣提取与建模的序列推荐方法 Download PDFInfo
- Publication number
- CN115858926A CN115858926A CN202211505338.3A CN202211505338A CN115858926A CN 115858926 A CN115858926 A CN 115858926A CN 202211505338 A CN202211505338 A CN 202211505338A CN 115858926 A CN115858926 A CN 115858926A
- Authority
- CN
- China
- Prior art keywords
- interest
- term
- sequence
- user
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000000605 extraction Methods 0.000 title claims abstract description 15
- 230000007774 longterm Effects 0.000 claims abstract description 64
- 230000003068 static effect Effects 0.000 claims abstract description 42
- 230000008859 change Effects 0.000 claims abstract description 5
- 230000003993 interaction Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000013459 approach Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于用户的复杂多模式兴趣提取与建模的序列推荐方法,包括如下步骤:步骤1、得到长期嵌入序列和短期嵌入序列;步骤2、通过长期嵌入序列和短期嵌入序列得到更新的长期嵌入序列和短期嵌入序列;步骤3、将更新的长短期嵌入序列中最后一个物品的嵌入向量作为用户的长短期动态兴趣,通过加权计算得到用户的长短期静态兴趣;步骤4、将长短期动态兴趣和长短期静态兴趣进行拼接然后进行非线性变化得到用户的长短期进化兴趣;步骤5、通过逐元素求和得到用户的动静态兴趣和进化兴趣;步骤6、进行加权求和到融合的用户兴趣;步骤7、计算融合兴趣与所有物品嵌入的乘积作为每个物品的推荐得分,该方法实现更准确的用户个性化序列推荐。
Description
技术领域
本发明属于数据挖掘与推荐系统领域,具体涉及一种基于用户的复杂多模式兴趣提取与建模的序列推荐方法。
背景技术
随着移动计算技术的快速发展,人与设备之间的接触变得更加容易。在数字化的过程中产生了海量的服务和数据,用户不可避免地会面临难以从海量数据中找到所需内容的困境,也就是所谓的信息过载。个性化推荐系统是通过建模用户兴趣并推荐相关内容来解决信息过载问题。特别的,个性化推荐系统可以帮助用户从海量数据中发现他们感兴趣的产品/内容/项目,以及为产品提供商创造增加收入的机会。
通常,用户是按一定顺序访问在线物品。因此,序列推荐成为中学术界和工业界构建推荐系统的热门话题。给定用户的历史物品交互序列,序列推荐旨在预测用户可能感兴趣的下一个物品。
序列推荐将按顺序排列的物品交互序列作为输入。目前国内外的研究人员进行序列推荐的方法主要可以分为三类,基于矩阵分解的方法、基于马尔可夫链的方法和基于深度学习的方法。基于矩阵分解的方法依靠时序矩阵分解来挖掘用户不断变化的兴趣。基于马尔可夫链的方法使用一阶或高阶马尔可夫链来学习用户的长期兴趣和短期变化。受自然语言处理方法在序列建模上优势的启发,基于深度学习的方法被用来增强特征学习。基于卷积神经网络(Convolutional Neural Network,CNN)的方法如Caser应用CNN来学习物品嵌入序列。基于循环神经网络(Recurrent Neural Network,RNN)的方法使用RNN或RNN的变体如门控循环单元(Gated Recurrent Unit,GRU)和长短期记忆网络(Long Short-TermMemory network,LSTM)进行序列推荐。最近,由于图神经网络(Graph Neural Network,GNN)能够有效地学习物品之间的高阶关系,研究人员将GNN用于序列推荐任务。SR-GNN通过将GNN应用于基于物品序列构建的图来学习物品嵌入。SURGE利用GNN从嘈杂的序列中动态提取用户兴趣。此外,基于注意力的方法如SASRec采用自注意力机制来自适应选择相关物品建模用户兴趣,TLSAN通过注意力网络学习长期和短期兴趣。一般来说,基于深度学习的方法优于其他两类方法。
现有序列推荐方法在建模用户兴趣时通常分为长期和短期兴趣。长期兴趣和短期兴趣的区别主要在于用于兴趣挖掘的序列长度不同。但是随着长度的变化,用户的兴趣也会随之产生一定的变化,因此现有基于长短期兴趣的方法无法准确地建模用户的兴趣表示。
发明内容
鉴于目前序列推荐从长期兴趣和短期兴趣角度建模用户兴趣存在的缺陷,本发明从动态兴趣和静态兴趣角度提出一种基于用户的复杂多模式兴趣提取与建模的序列推荐方法,并在动静态兴趣建模过程中考虑进化兴趣增强特征建模,实现更准确的用户个性化序列推荐。
本发明提供了一种基于用户的复杂多模式兴趣提取与建模的序列推荐方法,该方法的具体步骤是:
步骤1、获取用户的历史物品交互序列,选择最近的长度为m的序列作为长期序列,最近的长度为n的序列的作为短期序列,要求m>n。基于自学习的物品嵌入矩阵将序列中涉及的物品进行嵌入得到长期嵌入序列Fl和短期嵌入序列Fs。
步骤3、将更新的长期嵌入序列中最后一个物品的嵌入向量作为用户的长期动态兴趣/>计算更新的长期嵌入序列/>与最后一个物品的嵌入向量的注意力权重并进行加权求和得到用户的长期静态兴趣/>相同的,在更新的短期嵌入序列的基础上得到短期动态兴趣/>和短期静态兴趣/>
步骤6、计算动态兴趣pd、静态兴趣px和进化兴趣py与最后一个物品的嵌入向量的注意力权重并进行加权求和到融合的用户兴趣p。
步骤7、计算p与所有物品嵌入F的乘积作为每个物品的推荐得分,为用户推荐分数最高的若干个物品。
本发明具有的有益效果:从动态兴趣和静态兴趣角度建模用户兴趣,在长短期序列的基础上建模多层次动静态兴趣,实现更加精确和符合实际的用户兴趣建模。动态兴趣和静态兴趣的区别在于兴趣在一段时间内是否保持稳定。动态兴趣随时间不断变化,静态兴趣在一段时间内几乎保持不变。在动静态兴趣之外,考虑静态兴趣到动态兴趣转变的进化兴趣,通过动态兴趣、静态兴趣和进化兴趣自适应融合,实现更准确的用户个性化序列推荐。
附图说明
图1为本发明基于用户的复杂多模式兴趣提取与建模的序列推荐方法实施例的模型框架图。
具体实施方式
本发明针当前序列推荐方法从长期兴趣和短期兴趣角度建模用户兴趣存在的缺陷,设计了一种基于用户的复杂多模式兴趣提取与建模的序列推荐方法。
下面将对本发明所设计的一种基于用户的复杂多模式兴趣提取与建模的序列推荐方法做具体说明,方法的执行过程如图1所示。
本发明的具体步骤如下:
步骤(1).序列划分和向量嵌入:获取用户的历史物品交互序列H=(h1,h2,…,ht),其中hi为第i个交互行为对应的物品,选择最近的长度为m的序列作为长期序列,最近的长度为n的序列/>作为短期序列,要求m>n。基于自学习的物品嵌入矩阵/>将序列中涉及的物品进行嵌入得到长期嵌入序列和短期嵌入序列/>其中k表示所有序列中所有物品种类个数,其中/> d表示向量嵌入维度。假设用户交互序列为(a1,a2,a3,a4,a5,a6),令m=6,n=3,划分得到长期序列(a1,a2,a3,a4,a5,a6)和短期序列(a4,a5,a6)。对其进行嵌入后得到长期嵌入序列和短期嵌入序列/>
步骤(2).基于多头自注意力机制物品嵌入向量更新:将长期嵌入序列Fl和短期嵌入序列Fs分别输入两个独立的多头自注意力(Multi-head Self-attention)模块。具体的,就长期嵌入序列Fl而言,为了学习到物品之间的序列关系,为序列上的每个物品分配一个自学习的位置向量并更新物品向量为/>得到位置更新后的长期嵌入序列/>对结合位置向量的嵌入序列进行多头自注意力机制学习。多头机制能够从不同空间建模不同信息,从而提高模型的表征能力,每个注意力头执行独立的自注意力学习。具体而言,对于第j个注意力头,通过Gl分别得到以下三个矩阵:
p=Wr(αppd+αxpx+αypy)
步骤(7).推荐:计算p与所有物品嵌入F的乘积作为每个物品的推荐得分,为用户推荐分数最高的若干个物品。
Claims (8)
1.一种基于用户的复杂多模式兴趣提取与建模的序列推荐方法,其特征在于,包括如下步骤:
步骤1、获取用户的历史物品交互序列,通过自学习的物品嵌入矩阵得到长期嵌入序列和短期嵌入序列;
步骤2、将长期嵌入序列和短期嵌入序列分别输入两个独立的多头自注意力模块,得到更新的长期嵌入序列和短期嵌入序列;
步骤3、将更新的长期嵌入序列中最后一个物品的嵌入向量作为用户的长期动态兴趣,计算更新的长期嵌入序列与最后一个物品的嵌入向量的注意力权重并进行加权求和得到用户的长期静态兴趣,相同的,在更新的短期嵌入序列的基础上得到短期动态兴趣和短期静态兴趣;
步骤4、将长期动态兴趣和长期静态兴趣进行拼接然后进行非线性变化得到用户的长期进化兴趣,相同的,得到用户的短期进化兴趣;
步骤5、通过逐元素求和得到用户的动态兴趣、静态兴趣和进化兴趣;
步骤6、计算动态兴趣、静态兴趣和进化兴趣与最后一个物品的嵌入向量的注意力权重并进行加权求和到融合的用户兴趣;
步骤7、计算与所有物品嵌入的乘积作为每个物品的推荐得分,为用户推荐分数最高的前若干个物品。
2.根据权利要求1所述的基于用户的复杂多模式兴趣提取与建模的序列推荐方法,其特征在于,所述步骤5中,将长期动态兴趣和短期动态兴趣进行逐元素求和得到用户的动态兴趣;
将长期静态兴趣和短期静态兴趣进行逐元素求和得到用户的动态兴趣;
将长期进化兴趣和短期进化兴趣进行逐元素求和得到用户的动态兴趣。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211505338.3A CN115858926B (zh) | 2022-11-29 | 2022-11-29 | 基于用户的复杂多模式兴趣提取与建模的序列推荐方法 |
GBGB2316980.8A GB202316980D0 (en) | 2022-11-29 | 2023-11-06 | Sequwncw recommendation method based on extracting and modeling of complex multi-mode user interests |
US18/388,885 US20240177009A1 (en) | 2022-11-29 | 2023-11-13 | Sequence recommendation method based on extracting and modeling of complex multi-mode user interests |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211505338.3A CN115858926B (zh) | 2022-11-29 | 2022-11-29 | 基于用户的复杂多模式兴趣提取与建模的序列推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115858926A true CN115858926A (zh) | 2023-03-28 |
CN115858926B CN115858926B (zh) | 2023-09-01 |
Family
ID=85667359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211505338.3A Active CN115858926B (zh) | 2022-11-29 | 2022-11-29 | 基于用户的复杂多模式兴趣提取与建模的序列推荐方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240177009A1 (zh) |
CN (1) | CN115858926B (zh) |
GB (1) | GB202316980D0 (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015058558A1 (zh) * | 2013-10-23 | 2015-04-30 | 腾讯科技(深圳)有限公司 | 问题推荐方法、装置及系统 |
CN110245299A (zh) * | 2019-06-19 | 2019-09-17 | 中国人民解放军国防科技大学 | 一种基于动态交互注意力机制的序列推荐方法及其系统 |
CN110688565A (zh) * | 2019-09-04 | 2020-01-14 | 杭州电子科技大学 | 基于多维霍克斯过程和注意力机制的下一个物品推荐方法 |
CN110929164A (zh) * | 2019-12-09 | 2020-03-27 | 北京交通大学 | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 |
CN111310033A (zh) * | 2020-01-23 | 2020-06-19 | 山西大学 | 基于用户兴趣漂移的推荐方法及推荐装置 |
CN112528165A (zh) * | 2020-12-16 | 2021-03-19 | 中国计量大学 | 一种基于动态路由图网络的会话社交推荐方法 |
WO2022007526A1 (zh) * | 2020-07-07 | 2022-01-13 | 云境商务智能研究院南京有限公司 | 一种基于多视图注意力机制的旅游包推荐方法 |
CN114169968A (zh) * | 2021-12-09 | 2022-03-11 | 杭州电子科技大学 | 一种融合用户兴趣状态的多粒度会话推荐方法 |
CN114969533A (zh) * | 2022-06-02 | 2022-08-30 | 重庆邮电大学 | 一种基于用户长短期偏好的序列推荐方法 |
CN115082147A (zh) * | 2022-06-14 | 2022-09-20 | 华南理工大学 | 一种基于超图神经网络的序列推荐方法及装置 |
-
2022
- 2022-11-29 CN CN202211505338.3A patent/CN115858926B/zh active Active
-
2023
- 2023-11-06 GB GBGB2316980.8A patent/GB202316980D0/en active Pending
- 2023-11-13 US US18/388,885 patent/US20240177009A1/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015058558A1 (zh) * | 2013-10-23 | 2015-04-30 | 腾讯科技(深圳)有限公司 | 问题推荐方法、装置及系统 |
CN110245299A (zh) * | 2019-06-19 | 2019-09-17 | 中国人民解放军国防科技大学 | 一种基于动态交互注意力机制的序列推荐方法及其系统 |
CN110688565A (zh) * | 2019-09-04 | 2020-01-14 | 杭州电子科技大学 | 基于多维霍克斯过程和注意力机制的下一个物品推荐方法 |
CN110929164A (zh) * | 2019-12-09 | 2020-03-27 | 北京交通大学 | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 |
CN111310033A (zh) * | 2020-01-23 | 2020-06-19 | 山西大学 | 基于用户兴趣漂移的推荐方法及推荐装置 |
WO2022007526A1 (zh) * | 2020-07-07 | 2022-01-13 | 云境商务智能研究院南京有限公司 | 一种基于多视图注意力机制的旅游包推荐方法 |
CN112528165A (zh) * | 2020-12-16 | 2021-03-19 | 中国计量大学 | 一种基于动态路由图网络的会话社交推荐方法 |
CN114169968A (zh) * | 2021-12-09 | 2022-03-11 | 杭州电子科技大学 | 一种融合用户兴趣状态的多粒度会话推荐方法 |
CN114969533A (zh) * | 2022-06-02 | 2022-08-30 | 重庆邮电大学 | 一种基于用户长短期偏好的序列推荐方法 |
CN115082147A (zh) * | 2022-06-14 | 2022-09-20 | 华南理工大学 | 一种基于超图神经网络的序列推荐方法及装置 |
Non-Patent Citations (3)
Title |
---|
WANG DONGJING 等: "Attentive sequential model based on graph neural network for next poi recommendation", WEB OF SCIENCE, pages 1 - 6 * |
张岩;郭斌;王倩茹;张靖;於志文;: "SeqRec:基于长期偏好和即时兴趣的序列推荐模型", 浙江大学学报(工学版), no. 06, pages 1177 - 1184 * |
徐登威: "时间与上下文感知的序列推荐方法研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), pages 138 - 997 * |
Also Published As
Publication number | Publication date |
---|---|
GB202316980D0 (en) | 2023-12-20 |
US20240177009A1 (en) | 2024-05-30 |
CN115858926B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107423442A (zh) | 基于用户画像行为分析的应用推荐方法及系统,储存介质及计算机设备 | |
Tiwari et al. | Investigation of artificial intelligence techniques in finance and marketing | |
CN116010684A (zh) | 物品推荐方法、装置及存储介质 | |
CN111950593A (zh) | 一种推荐模型训练的方法及装置 | |
Roslan et al. | The rise of AI-powered voice assistants: Analyzing their transformative impact on modern customer service paradigms and consumer expectations | |
CN114519610A (zh) | 信息预测方法以及装置 | |
CN109189922B (zh) | 评论评估模型的训练方法和装置 | |
CN111695024A (zh) | 对象评估值的预测方法及系统、推荐方法及系统 | |
Dai et al. | Hybrid deep model for human behavior understanding on industrial internet of video things | |
Sangeetha et al. | Techniques using artificial intelligence to solve stock market forecast, sales estimating and market division issues | |
CN114240555A (zh) | 训练点击率预测模型和预测点击率的方法和装置 | |
CN108628882A (zh) | 用于预判问题的方法和系统 | |
Chen et al. | Session-based recommendation: Learning multi-dimension interests via a multi-head attention graph neural network | |
Chen | An online retail prediction model based on AGA-LSTM neural network | |
AU2019200721B2 (en) | Online training and update of factorization machines using alternating least squares optimization | |
CN115858926A (zh) | 基于用户的复杂多模式兴趣提取与建模的序列推荐方法 | |
CN116681463A (zh) | 销量预测方法、系统、设备及存储介质 | |
Borysenko et al. | Intelligent forecasting in multi-criteria decision-making. | |
CN116484092A (zh) | 基于用户长短期偏好的分层注意力网络序列推荐方法 | |
Deng et al. | Adaptive personalized recommendation based on adaptive learning | |
Astawa et al. | Comparison of rnn, lstm, and gru methods on forecasting website visitors | |
CN111179070A (zh) | 一种基于lstm的借贷风险时效性预测系统及方法 | |
Pandey et al. | Time Series Forecasting and Prediction of Walmart Data using Hybrid Machine Learning Techniques | |
CN114329193B (zh) | 基于时间感知兴趣演化的点击率预测方法 | |
CN114219530A (zh) | 一种基于情感分析的解释推荐方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |