CN116257691A - 基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法 - Google Patents
基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法 Download PDFInfo
- Publication number
- CN116257691A CN116257691A CN202310385724.1A CN202310385724A CN116257691A CN 116257691 A CN116257691 A CN 116257691A CN 202310385724 A CN202310385724 A CN 202310385724A CN 116257691 A CN116257691 A CN 116257691A
- Authority
- CN
- China
- Prior art keywords
- user
- long
- short
- term
- behavior sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000005065 mining Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 230000007774 longterm Effects 0.000 claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 claims abstract description 43
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims description 115
- 239000011159 matrix material Substances 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 230000007787 long-term memory Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006403 short-term memory Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 101100001674 Emericella variicolor andI gene Proteins 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 4
- 230000000306 recurrent effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Fuzzy Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，基于用户的历史行为序列，预测用户点击目标物品的概率。本发明主要分为七个部分：第一部分是将用户历史行为序列分为近期历史行为序列和远期历史行为序列；第二部分是基于用户近期历史行为序列，利用循环神经网络得到用户的短期兴趣；第三部分是根据用户历史行为序列中物品相似度，挖掘潜在图结构；第四部分是基于挖掘出的图结构，利用图神经网络更新物品向量；并基于更新后的物品向量利用循环神经网络得到用户的长期兴趣；第五部分是根据用户兴趣多样性偏好，融合用户的短期兴趣和长期兴趣；第六部分是预测用户对物品的点击率。
Description
技术领域
本发明属于互联网服务技术领域，尤其是涉及基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法。
背景技术
近几年，国内移动网民在短视频平台上花费的时间越来越长。2021年8月发布的《2021年Q2国内移动互联网报告》中指出，国内移动网民日均在短视频应用上使用时长约1.5小时。短视频的时长较短，因此用户在一天中可以观看很多短视频。通常来讲，用户在短视频平台中会浏览不同类型的短视频，即用户在短视频平台中有较强的多样性偏好。有研究将用户的历史序列输入到用户短期兴趣建模模型中，发现将用户的最近几个行为去掉，短期兴趣建模模型的效果反而得到提升，这也在一定程度上体现用户有较强的多样性偏好。
传统的推荐方法通常将用户的最近行为序列输入到模型中，得到用户的短期兴趣，进而给用户推荐感兴趣的短视频。但是用户在短视屏平台中的行为极为丰富和密集，如果忽略用户远期的历史行为序列，只考虑用户近期历史行为序列，会损失用户远期历史行为序列中包含的丰富信息，且可能会对用户近期兴趣过拟合，造成推荐结果较为单一。而如果直接将用户的所有历史行为序列直接输入到兴趣建模模型中，用户远期行为历史序列中包含的大量噪音会损害模型推荐效果，且模型复杂度过高，训练和运行时间较长。
发明内容
本方法的问题定义为基于用户的行为序列，预测用户点击目标物品的概率。涉及到的数学符号有：平台中用户集合表示为U，物品集合表示为V。用户ui的历史行为序列为
其中任一物品vj∈V，下标m表示用户ui行为序列
的长度。现有的推荐方法通常将用户的最近行为序列输入到模型中，得到用户的短期兴趣，进而给用户推荐感兴趣的短视频。但是用户在短视屏平台中的行为极为丰富和密集，如果忽略用户远期的历史行为序列，只考虑用户近期历史行为序列，会损失用户远期历史行为序列中包含的丰富信息，且可能会对用户近期兴趣过拟合，造成推荐结果较为单一。而如果直接将用户的所有历史行为序列直接输入到兴趣建模模型中，用户远期行为历史序列中包含的大量噪音会损害模型推荐效果，且模型复杂度过高，训练和运行时间较长。
为此，本发明采用以下技术方案：
一种基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其具体方法如下：
S1、获取用户历史行为序列，并按照用户对物品的行为执行先后顺序，将用户历史行为序列分为近期历史行为序列和远期历史行为序列；
S2、基于用户近期历史行为序列，利用循环神经网络进行建模，得到用户的短期兴趣；
S3、根据用户历史行为序列中物品相似度，通过一个多次循环过程构成的过滤操作挖掘潜在的图结构；
S4、基于挖掘出的图结构，利用图神经网络更新物品向量，再基于更新后的物品向量通过长短期记忆神经网络得到用户的长期兴趣；
S5、根据用户兴趣多样性偏好，计算用户行为丰富程度，并结合通过学习得到的长短期兴趣的权重，对用户的短期兴趣和长期兴趣进行融合，得到最终的用户兴趣表示；
S6、通过计算用户兴趣表示和目标物品的向量表示之间的相似度，来预测用户对物品的点击率，实现物品推荐。
作为优选，所述S1的具体实现方法如下：
获取平台中的用户集合U和物品集合V，获取用户ui的历史行为序列
其中任一物品vj∈V，下标m表示用户ui行为序列
的长度；vj的向量表征是xj；将用户历史行为序列
中的后n个物品作为用户的近期历史行为序列，表示为
将用户历史行为序列中前m-n个物品作为用户的远期历史行为序列，表示为
作为优选，所述S2的具体实现方法如下：
针对用户ui，采用长短期记忆神经网络对用户近期历史行为序列
进行建模，得到用户的短期兴趣ps：
ps＝LSTM({xm-n+1,xm-n+2,…,xm})
其中，{xm-n+1,xm-n+2,…,xm}是用户近期历史行为序列{vm-n+1,vm-n+2,…,vm}的向量表示，LSTM()表示长短期记忆神经网络，长短期记忆神经网络最后一个隐状态的输出即为用户的短期兴趣ps。
作为优选，所述S3的具体实现方法如下：
计算用户历史行为序列中前面的物品和后面的物品之间的cosine相似度，得到图结构的初始邻接矩阵M；矩阵M是一个下三角矩阵，当矩阵中第i行第j列的Mij下标满足i≥j时，Mij＝0；Mij表示用户历史行为序列中物品vi和vj的相似度，具体的值为物品vi和vj的向量表征xi和xj的cosine相似度；进一步对该初始邻接矩阵M进行过滤操作，得到一个稀疏的图结构G，所述过滤操作是一个多次循环过程：
第一步，设最终图结构包含的节点集合为Nv，要扩展的集合为Cv，Nv和Cv都初始化为{vm-n+1,vm-n+2,…,vm}；
第二步，根据初始邻接矩阵M，得到Cv中每个物品的最相似物品集合Fv，将集合Fv中的物品放入集合Nv中，即Nv＝Nv∪Fv，并更新Cv为Fv，即Cv＝Fv；
第三步，重复第二步K次，最终得到一个稀疏的图结构G和该图的邻接矩阵A；上述多次循环过程中每一次重复第二步时对应邻接矩阵A的变化用公式表示为：
其中，
表示集合Cv中所有物品vj，Mij＝MAXτ(Mτj)表示找到和物品vj最相似的物品vi，然后给邻接矩阵Aij值赋为1。
作为优选，所述S4的具体实现方法如下：
S41、基于挖掘出的图结构，利用图神经网络更新物品向量；所述图神经网络是一个多层次结构，通过总共L层的信息传递将用户更久远的行为信息融合进来；其中L＝K+1；图中节点vi的第l层物品向量表示为
其更新公式为：
其中，
表示对邻接矩阵A进行正则化；D是图结构G的度数矩阵，计算公式是
度数矩阵是一个对角矩阵；
是邻接矩阵A正则化后的矩阵，其中第i行第j列的矩阵元素为
NH(i)表示vi的邻居集合，
表示vj的第l-1层物品向量表示；图中节点vi第0层向量
初始化为xi；经过L层的信息传递之后，最终得到节点vi更新后的物品向量为
S42、基于用户近期历史行为序列{vm-n+1,vm-n+2,…,vm}的更新后的物品向量表示为
再利用长短期记忆神经网络得到用户的长期兴趣pl，其中
作为优选，所述S5的具体实现方法如下：
S51、统计数据集中类目的种类数量为Ncate，标签种类数量为Ntag；将用户在某一类目或者标签下的行为个数大于T作为判定该用户对该类目或者标签有兴趣的标准，统计用户历史行为序列中用户感兴趣的类目个数ncate和标签个数ntag，得到用户行为丰富程度wdiv为：
其中，
和
是超参数，分别控制类目和标签信息的重要程度，
S52、用一个两层的MLP模型来学习长短期兴趣的权重，并结合用户行为丰富程度wdiv得到最终的长短期兴趣权重，具体如下：
其中，q和W是两层MLP模型的模型参数，在训练时得到更新，上标
是转置符号；tanh表示tanh激活函数，sigmoid表示sigmoid激活函数；
是由模型自己学习到的用户长期兴趣的权重，经由sigmoid()函数将其归一化到(0,1范围内，然后再乘以用户行为丰富程度wdiv得到最终的用户长期兴趣权重γl；
S53、基于用户长期兴趣权重γl和用户短期兴趣权重1-γl，对用户的长期兴趣pl和短期兴趣ps进行融合，得到最终的用户兴趣表示p＝γlpl+(1-γl)ps；
作为优选，所述S6的具体实现方法如下：
根据用户ui的用户兴趣表示p，将用户兴趣表示和目标物品vτ的向量表示xτ进行内积计算，预测用户对目标物品vτ的点击率
作为优选，所述S1～S6构成的推荐模型框架，在实际进行推理前需要预先进行训练；训练过程中，通过用户对目标物品vτ的点击率预测值
计算点击率预测值
和点击率真实值y之间的交叉熵损失函数来指导模型参数的更新过程，并采用Adam优化器更新模型参数。
作为优选，所述交叉熵损失函数的计算式为：
其中，y∈{0,1}是真实值，代表用户是否点击了目标物品；σ是sigmoid函数。
作为优选，所述平台为短视频平台，所述物品为短视频，且xj被初始化为短视频主图的向量表示。
本发明的有益技术效果如下：
(1)本方法为了充分利用用户较长行为序列中的信息，提出将用户历史行为序列分为近期历史行为序列和远期历史行为序列，并从远期历史行为序列中抽取有关用户长期兴趣信息，融合到用户近期历史行为序列的物品向量中。
(2)本方法提出基于历史行为序列构建单向图结构，具体地先根据物品的相似度计算出一个下三角邻接矩阵，然后采用一个多次循环过程从下三角邻接矩阵中过滤出有价值的边信息。
(3)本方法在融合用户长期和短期兴趣时，将用户的多样性偏好考虑进去，通过计算用户行为中涉及到的物品类目和标签的丰富度来模拟用户的多样性偏好程度。
附图说明
图1为本发明基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法的流程示意图；
图2为本发明基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法的模型图。
具体实施方式
为了进一步理解本发明，下面结合具体实施方式对本发明提供的基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法进行具体描述，但本发明并不限于此，该领域技术人员在本发明核心指导思想下做出的非本质改进和调整，仍然属于本发明的保护范围。
本方法的问题定义为基于用户的历史行为序列，预测用户点击目标物品的概率。在短视频领域中，物品就是短视频。涉及到的数学符号有：平台中用户集合表示为U，物品集合表示为V。用户ui的历史行为序列为
其中任一物品vj∈V，下标m表示用户ui行为序列
的长度。基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法由七个部分组成。第一部分是将用户历史行为序列分为近期历史行为序列和远期历史行为序列；第二部分是基于用户近期历史行为序列，利用循环神经网络得到用户的短期兴趣；第三部分是根据用户历史行为序列中物品相似度，挖掘潜在图结构；第四部分是基于挖掘出的图结构，利用图神经网络更新物品向量；并基于更新后的物品向量利用循环神经网络得到用户的长期兴趣；第五部分是根据用户兴趣多样性偏好，融合用户的短期兴趣和长期兴趣；第六部分是预测用户对物品的点击率；第七部分是根据模型特性，设计损失函数。
如图1所示，按照本发明的一个实施例，本方法包括如下步骤：
S100，获取用户历史行为序列，并按照用户对物品的行为执行先后顺序，将用户历史行为序列分为近期历史行为序列和远期历史行为序列。
将平台中用户集合表示为U，物品集合表示为V。针对目标用户ui，获取其历史行为序列为
其中任一物品vj∈V，下标m表示用户ui行为序列
的长度。vj的向量表征是xj。在本实施例中，该推荐方法可应用于短视频领域，因此对应的平台为短视频平台，物品为短视频，xj被初始化为短视频主图的向量表示。将用户历史行为序列
中的后n个物品作为用户的近期历史行为序列，表示为
将用户历史行为序列中前m-n个物品作为用户的远期历史行为序列，表示为
需要说明的是，此处用于划分近期历史行为序列和远期历史行为序列的关键参数为n和m，其具体取值需要根据实际的数据进行优化确定，以最终的推荐效果最佳为准。
S200，基于用户近期历史行为序列，利用循环神经网络进行建模，得到用户的短期兴趣。
本发明中采用的循环神经网络是序列建模的常用方法，通常包括长短期记忆神经网络和门控循环单元神经网络。本实施例中循环神经网络采用长短期记忆神经网络(Longshort-term memory,LSTM)来对用户近期历史行为序列
建模，得到用户的短期兴趣ps：
ps＝LSTM({xm-n+1,xm-n+2,…,xm})
其中，{xm-n+1,xm-n+2,…,xm}是用户近期历史行为序列{vm-n+1,vm-n+2,…,vm}的向量表示，LSTM()表示长短期记忆神经网络，长短期记忆神经网络最后一个隐状态的输出即为用户的短期兴趣ps。
S300，根据用户历史行为序列中物品相似度，通过一个多次循环过程构成的过滤操作挖掘潜在的图结构。
在本实施例中，上述图结构的具体挖掘方式如下：
计算用户历史行为序列中前面的物品和后面的物品之间的cosine相似度，得到图结构的初始邻接矩阵M。矩阵M是一个下三角矩阵，即当矩阵中第i行第j列的Mij下标满足i≥j时，Mij＝0。且Mij表示用户历史行为序列中物品vi和vj的相似度，具体的值为物品vi和vj的向量表征xi和xj的cosine相似度。该初始邻接矩阵M过于密集，包含很多噪音，需要进一步进行过滤操作，得到一个稀疏的图结构G。上述过滤操作是一个多次循环过程，其具体循环过程如下：
第一步，设最终图结构包含的节点集合为Nv，要扩展的集合为Cv，Nv和Cv都初始化为{vm-n+1,vm-n+2,…,vm}，也就是将用户近期历史行为序列中的物品都放入节点集合Nv和Cv中。
第二步，根据初始邻接矩阵M，得到Cv中每个物品的最相似物品集合Fv，将集合Fv中的物品放入集合Nv中，即Nv＝Nv∪Fv，并更新Cv为Fv，即Cv＝Fv。
第三步，重复第二步K次，最终得到一个稀疏的图结构和该图的邻接矩阵。上述重复循环次数K的取值需要根据不同场景取不同的值，K越大，可以融合进更多的用户长期兴趣信息，但是噪音也越大。本方法中K＝3。图结构表示为G，对应的邻接矩阵表示为A，用公式表示上述多次循环过程中每一次重复第二步时对应邻接矩阵A的变化为：
其中，
表示集合Cv中所有物品vj，Mij＝MAXτ(Mτj)表示找到和物品vj最相似的物品vi，然后给邻接矩阵Aij值赋为1。
S400，基于挖掘出的图结构，利用图神经网络更新物品向量，再基于更新后的物品向量通过长短期记忆神经网络得到用户的长期兴趣。
图神经网络的本质是将图中节点的邻居节点信息传递并融合进节点中，且本实施例中的图神经网络是一个多层次结构，总层数为L，通过L层的信息传递，可以将用户更久远的行为信息融合进来。这里L的值和K有关，L＝K+1。图中节点vi的第l层物品向量表示为
其更新公式为：
其中，
表示对邻接矩阵A进行正则化，防止模型在训练时梯度爆炸或者消失。D是图结构G的度数矩阵，计算公式是
度数矩阵是一个对角矩阵。
是邻接矩阵A正则化后的矩阵，其中第i行第j列的矩阵元素为
NH(i)表示vi的邻居集合，
表示vj的第l-1层物品向量表示。图中节点vi第0层向量
初始化为xi。经过L层的信息传递之后，最终得到节点vi的更新后的物品向量为
该向量融入了用户长期偏好信息。此时，用户近期历史行为序列{vm-n+1,vm-n+2,…,vm}的向量表示为
再利用长短期记忆神经网络得到基于
得到用户的长期兴趣pl，其中
S500，根据用户兴趣多样性偏好，计算用户行为丰富程度，并结合通过学习得到的长短期兴趣的权重，对用户的短期兴趣和长期兴趣进行融合，得到最终的用户兴趣表示。
抽取的用户长期兴趣因为融合了用户更多行为信息，包含了用户更丰富的兴趣偏好。本方法结合用户的行为丰富程度和长短期兴趣的差异，来对用户的长短期兴趣进行融合。用户历史行为的丰富程度由用户行为中涉及的类目和标签等信息的丰富程度决定。统计数据集中类目的种类数量为Ncate，标签种类数量为Ntag。定义用户对类目或者标签有兴趣的标准为：用户在某一类目或者标签下的行为个数大于T即认为该用户对该类目或者标签有兴趣。在本实施例中，T＝10。统计用户历史行为序列中用户感兴趣的类目个数ncate和标签个数ntag，即可通过下式计算得到用户行为丰富程度wdiv为：
其中，
和
是超参数，分别控制类目和标签信息的重要程度，
本实施例中
长短期兴趣的差异越大，说明用户短期兴趣越单一，本实施例用一个两层的MLP模型来学习长短期兴趣的权重，并结合用户行为丰富程度wdiv得到最终的长短期兴趣权重，具体如下：
其中，q和W是两层MLP模型的模型参数，在训练时得到更新，上标T是转置符号。tanh是tanh激活函数，sigmoid是sigmoid激活函数。
是由模型自己学习到的用户长期兴趣的权重，经由sigmoid()函数将其归一化到(0,1)范围内，然后再乘以用户行为丰富程度wdiv得到最终的用户长期兴趣权重γl。
最后用户的兴趣表示为p＝γlpl+(1-γl)ps。
S600，通过计算用户兴趣表示和目标物品的向量表示之间的相似度，来预测用户对物品的点击率，实现物品推荐。
根据用户ui的用户向量p，预测用户对目标物品vτ的点击率
物品vτ的向量是xτ。计算点击率的方法是将用户向量和物品向量进行内积，得到相似度：
需要说明的是，上述步骤S100～步骤S600，实际上构成了本发明的推荐方法的模型框架，该框架如图2所示。该模型框架用于进行推理前需要预先进行训练。训练过程可通过下述S700来实现。
S700，根据模型特性，设计用于训练上述模型框架的损失函数。在本实施例中，可通过用户对目标物品的点击率预测值
计算点击率预测值
和点击率真实值y之间的误差，进而使用误差来更新模型参数。点击率预测值
和点击率真实值y之间的误差可采用交叉熵形式，通过交叉熵损失函数来指导模型参数的更新过程。交叉熵损失函数属于现有技术，其公式如下：
其中，y∈{0,1}是真实值，代表用户是否点击了目标物品。σ是sigmoid函数。需要说明的是，训练数据集的构建也属于现有技术，对此不再展开描述。在实际训练过程中，模型参数的更新，可采用Adam优化器来实现。
综上，本发明的实施例中，针对短视频领域中的短视频推荐，提出了一种基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法。首先，按照用户行为发生的时间将用户历史行为序列划分为用户远期历史行为序列和用户近期历史行为序列。然后，采用循环神经网络从用户近期历史行为序列中抽取用户的短期兴趣。然后，挖掘用户历史行为序列的图结构，这里的图结构是一种单向的图结构，即只存在先观看的短视频到后观看的短视频的边。根据学习到的图结构，采用图神经网络更新短视频向量表征，经过更新后的用户近期历史行为序列中的短视频向量已经融合了用户的长期兴趣信息。然后再采用循环神经网络对用户近期历史行为序列进行建模，得到用户长期兴趣。最后，考虑用户的多样性偏好信息，对用户的长短期兴趣进行融合，并给用户推荐可能感兴趣的短视频。本发明可有效实现符合用户兴趣的短视频推荐任务。
上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (10)
1.一种基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其特征在于：
S100、获取用户历史行为序列，并按照用户对物品的行为执行先后顺序，将用户历史行为序列分为近期历史行为序列和远期历史行为序列；
S200、基于用户近期历史行为序列，利用循环神经网络进行建模，得到用户的短期兴趣；
S300、根据用户历史行为序列中物品相似度，通过一个多次循环过程构成的过滤操作挖掘潜在的图结构；
S400、基于挖掘出的图结构，利用图神经网络更新物品向量，再基于更新后的物品向量通过长短期记忆神经网络得到用户的长期兴趣；
S500、根据用户兴趣多样性偏好，计算用户行为丰富程度，并结合通过学习得到的长短期兴趣的权重，对用户的短期兴趣和长期兴趣进行融合，得到最终的用户兴趣表示；
S600、通过计算用户兴趣表示和目标物品的向量表示之间的相似度，来预测用户对物品的点击率，实现物品推荐。
2.如权利要求1所述的基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其特征在于，所述S100的具体实现方法如下：
获取平台中的用户集合U和物品集合V，获取用户ui的历史行为序列
其中任一物品vj∈V，下标m表示用户ui行为序列
的长度；vj的向量表征是xj；将用户历史行为序列
中的后n个物品作为用户的近期历史行为序列，表示为
将用户历史行为序列中前m-n个物品作为用户的远期历史行为序列，表示为
3.如权利要求2所述的基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其特征在于，所述S200的具体实现方法如下：
针对用户ui，采用长短期记忆神经网络对用户近期历史行为序列
进行建模，得到用户的短期兴趣ps：
ps＝LSTM({xm-n+1，xm-n+2，…，xm})
其中，{xm-n+1，xm-n+2，…，xm}是用户近期历史行为序列{vm-n+1，vm-n+2，…，vm}的向量表示，LSTM()表示长短期记忆神经网络，长短期记忆神经网络最后一个隐状态的输出即为用户的短期兴趣ps。
4.如权利要求3所述的基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其特征在于，所述S300的具体实现方法如下：
计算用户历史行为序列中前面的物品和后面的物品之间的cosine相似度，得到图结构的初始邻接矩阵M；矩阵M是一个下三角矩阵，当矩阵中第i行第h列的Mij下标满足i≥j时，Mij＝0；Mij表示用户历史行为序列中物品vi和vj的相似度，具体的值为物品vi和vj的向量表征xi和xj的cosine相似度；进一步对该初始邻接矩阵M进行过滤操作，得到一个稀疏的图结构G，所述过滤操作是一个多次循环过程：
第一步，设最终图结构包含的节点集合为Nv，要扩展的集合为Cv，Nv和Cv都初始化为{vm-n+1，vm-n+2，…，vm}；
第二步，根据初始邻接矩阵M，得到Cv中每个物品的最相似物品集合Fv，将集合Fv中的物品放入集合Nv中，即Nv＝Nv∪Fv，并更新Cv为Fv，即Cv＝Fv；
第三步，重复第二步K次，最终得到一个稀疏的图结构G和该图的邻接矩阵A；上述多次循环过程中每一次重复第二步时对应邻接矩阵A的变化用公式表示为：
其中，
表示集合Cv中所有物品vj，Mij＝MAXτ(Mτj)表示找到和物品vj最相似的物品vi，然后给邻接矩阵Aij值赋为1。
5.如权利要求4所述的基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其特征在于，所述S400的具体实现方法如下：
S401、基于挖掘出的图结构，利用图神经网络更新物品向量；所述图神经网络是一个多层次结构，通过总共L层的信息传递将用户更久远的行为信息融合进来；其中L＝K+1；图中节点vi的第l层物品向量表示为
其更新公式为：
其中，
表示对邻接矩阵A进行正则化；D是图结构G的度数矩阵，计算公式是
度数矩阵是一个对角矩阵；
是邻接矩阵A正则化后的矩阵，其中第i行第j列的矩阵元素为
NH(i)表示vi的邻居集合，
表示vj的第l-1层物品向量表示；图中节点vi第0层向量
初始化为xi；经过L层的信息传递之后，最终得到节点vi更新后的物品向量为
S402、基于用户近期历史行为序列{vm-n+1，vm-n+2，…，vm}的更新后的物品向量表示为
再利用长短期记忆神经网络得到用户的长期兴趣pl，其中
6.如权利要求5所述的基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其特征在于，所述S500的具体实现方法如下：
S501、统计数据集中类目的种类数量为Ncate，标签种类数量为Ntag；将用户在某一类目或者标签下的行为个数大于T作为判定该用户对该类目或者标签有兴趣的标准，统计用户历史行为序列中用户感兴趣的类目个数ncate和标签个数ntag，得到用户行为丰富程度wdiv为：
其中，
和
是超参数，分别控制类目和标签信息的重要程度，
S502、用一个两层的MLP模型来学习长短期兴趣的权重，并结合用户行为丰富程度wdiv得到最终的长短期兴趣权重，具体如下：
其中，q和W是两层MLP模型的模型参数，在训练时得到更新，上标
是转置符号；tanh表示tanh激活函数，sigmoid表示sigmoid激活函数；
是由模型自己学习到的用户长期兴趣的权重，经由sigmoid()函数将其归一化到(0，1)范围内，然后再乘以用户行为丰富程度wdiv得到最终的用户长期兴趣权重γl；
S503、基于用户长期兴趣权重γl和用户短期兴趣权重1-γl，对用户的长期兴趣pl和短期兴趣ps进行融合，得到最终的用户兴趣表示p＝γlpl+(1-γl)ps 。
7.如权利要求6所述的基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其特征在于，所述S600的具体实现方法如下：
根据用户ui的用户兴趣表示p，将用户兴趣表示和目标物品vτ的向量表示xτ进行内积计算，预测用户对目标物品vτ的点击率
8.如权利要求1所述的基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其特征在于，所述S100～S600构成的推荐模型框架，在实际进行推理前需要预先进行训练；训练过程中，通过用户对目标物品vτ的点击率预测值
计算点击率预测值
和点击率真实值y之间的交叉熵损失函数来指导模型参数的更新过程，并采用Adam优化器更新模型参数。
9.如权利要求8所述的基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其特征在于，所述交叉熵损失函数的计算式为：
其中，y∈{0，1}是真实值，代表用户是否点击了目标物品；σ是sigmoid函数。
10.如权利要求1所述的基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法，其特征在于，所述平台为短视频平台，所述物品为短视频，且xj被初始化为短视频主图的向量表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310385724.1A CN116257691A (zh) | 2023-04-12 | 2023-04-12 | 基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310385724.1A CN116257691A (zh) | 2023-04-12 | 2023-04-12 | 基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116257691A true CN116257691A (zh) | 2023-06-13 |
Family
ID=86686370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310385724.1A Pending CN116257691A (zh) | 2023-04-12 | 2023-04-12 | 基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116257691A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117408786A (zh) * | 2023-12-11 | 2024-01-16 | 深圳须弥云图空间科技有限公司 | 一种基于门控机制的物品推荐方法及装置 |
-
2023
- 2023-04-12 CN CN202310385724.1A patent/CN116257691A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117408786A (zh) * | 2023-12-11 | 2024-01-16 | 深圳须弥云图空间科技有限公司 | 一种基于门控机制的物品推荐方法及装置 |
| CN117408786B (zh) * | 2023-12-11 | 2024-04-16 | 深圳须弥云图空间科技有限公司 | 一种基于门控机制的物品推荐方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119467B (zh) | 一种基于会话的项目推荐方法、装置、设备及存储介质 | |
| CN111080400B (zh) | 一种基于门控图卷积网络的商品推荐方法及系统、存储介质 | |
| Zandieh et al. | Dynamic job shop scheduling using variable neighbourhood search | |
| De Oliveira et al. | Using artificial neural networks to forecast chaotic time series | |
| CN109062962B (zh) | 一种融合天气信息的门控循环神经网络兴趣点推荐方法 | |
| CN111079931A (zh) | 一种基于图神经网络的状态空间概率性多时间序列预测方法 | |
| CN110955826B (zh) | 基于改进型循环神经网络单元的推荐系统 | |
| CN114817663B (zh) | 一种基于类别感知图神经网络的服务建模与推荐方法 | |
| CN110543935B (zh) | 处理交互序列数据的方法及装置 | |
| CN114639483B (zh) | 一种基于图神经网络的电子病历检索方法及装置 | |
| CN113505924B (zh) | 一种基于级联时空特征的信息传播预测方法及系统 | |
| CN113704438B (zh) | 一种基于分层注意力机制的异构图的会话推荐方法 | |
| CN112765461A (zh) | 一种基于多兴趣胶囊网络的会话推荐方法 | |
| CN111967946B (zh) | 一种基于面向用户多关系信息网络的商品推荐方法及系统 | |
| CN116257691A (zh) | 基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法 | |
| CN112395504A (zh) | 一种基于序列胶囊网络的短视频点击率预测方法 | |
| CN113888238B (zh) | 一种广告点击率预测方法、装置及计算机设备 | |
| Lee et al. | Dual-memory neural networks for modeling cognitive activities of humans via wearable sensors | |
| CN114238765A (zh) | 一种基于区块链的位置注意力推荐方法 | |
| CN112395505B (zh) | 一种基于协同注意力机制的短视频点击率预测方法 | |
| CN113821724A (zh) | 一种基于时间间隔增强的图神经网络推荐方法 | |
| CN112559904A (zh) | 一种基于门机制和多模态图网络的会话社交推荐方法 | |
| CN116975686A (zh) | 训练学生模型的方法、行为预测方法和装置 | |
| CN115953215B (zh) | 一种基于时间和图结构的搜索式推荐方法 | |
| CN113449176A (zh) | 基于知识图谱的推荐方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |