CN116662532A - 一种基于图神经网络的神经时间门自适应融合会话推荐方法 - Google Patents
一种基于图神经网络的神经时间门自适应融合会话推荐方法 Download PDFInfo
- Publication number
- CN116662532A CN116662532A CN202310804951.3A CN202310804951A CN116662532A CN 116662532 A CN116662532 A CN 116662532A CN 202310804951 A CN202310804951 A CN 202310804951A CN 116662532 A CN116662532 A CN 116662532A
- Authority
- CN
- China
- Prior art keywords
- session
- embedding
- user
- graph
- preference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000001537 neural effect Effects 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title claims abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 75
- 230000007774 longterm Effects 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims abstract description 22
- 238000010276 construction Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000000547 structure data Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于图神经网络的神经时间门自适应融合会话推荐方法。本模型分为五个层次:会话图构建层、会话嵌入层、注意力网络层、神经时间门层和评分预测层,具体包括:将用户历史会话点击序列作为输入来构建会话图;通过图神经网络学习项目在会话图上的嵌入,得到项目嵌入的向量表示;所有项目向量输入注意力网络,分别提取出用户的长期偏好和短期偏好;通过神经时间门融合长期偏好和短期偏好,生成最终的偏好嵌入;融合项目嵌入与最终的偏好嵌入,输入到归一化指数函数以对候选项目进行评分预测。本发明主要提出了一个基于神经时间门的长期偏好和短期偏好在维度层面的细粒度融合的方法,学习到更有代表性和更全面的融合偏好嵌入,使模型能挖掘到更精准的用户偏好,提高推荐系统的关键性能。
Description
技术领域
本发明属于推荐系统领域,涉及图神经网络、深度学习技术领域,尤其涉及基于图神经网络的会话推荐方法。
背景技术
随着技术的进步和在线服务的普及,人们能够以更快的方式获取大量的在线信息。然而,最近普适计算的发展导致了在线数据过载问题。因此,推荐系统的发展近来受到了极大的关注。一般而言,推荐系统充当信息过滤工具,为用户提供合适的个性化内容或信息。在推荐系统里,通常利用用户和物品的所有历史交互来学习用户对项目的偏好,基于会话的推荐正是这样的存在。其作为主要的推荐系统类别之一,需进一步发展以提供适用于不同应用场景的更高效的推荐。
会话是由一个时间段内用户的交互行为序列构成,基于会话的推荐是基于当前历史会话序列来推荐用户下一个点击的物品。由于会话内的点击序列是有序的,所以在对项目建模时考虑其时间顺序是非常必要的。作为一种特殊的推荐场景,基于会话的推荐一直以来有很多学者在对其研究。传统的方法主要是采用基于相似性或者马尔可夫链来生成推荐,但前者忽略了会话的顺序信息,后者则受到了强独立性假设的限制。最近,深度学习的快速发展为解决这些问题提供了一些新方向。研究发现,将循环神经网络(RNN)和图神经网络(GNN)等模型应用到会话推荐场景下,不仅对以上问题提供了有效的解决方案,而且对于获得精确的项目嵌入以及考虑项目的复杂转换方面,其需求也得到了明显的提升,因此,基于图神经网络的推荐方法。
尽管针对会话推荐已经提出了多种方法,但有一些问题仍未得到很好的解决。其中很重要的一点在于,用户在网上购物时,其意图往往是由多种不同程度的兴趣杂糅在一起而组成的,推荐系统需要挖掘用户的深层意图,才能准确地捕获用户的偏好,为用户生成精确的个性化推荐。为了实现这一目标,现有的方法开始对用户兴趣进行分层建模,分别提取长期偏好和短期偏好,以综合考虑用户偏好的全局稳定性和局部波动性,但在融合长短期偏好时,通常使用基于标量的加权模式来融合长期和短期偏好,这种方法过于粗糙,无法充分学习当前偏好的表达性嵌入。
因此,如何充分挖掘序列内部全局的时序关系以及细粒度融合长期和短期偏好,学习到更有代表性和更全面的融合偏好嵌入,使模型能挖掘到更精准的用户偏好,最终完成更为精准的推荐,成为了待解决的问题。
发明内容
本发明的目的是提供一种基于图神经网络的神经时间门自适应融合会话推荐方法,将会话中提取的长短期偏好通过神经时间门自适应地调节对当前兴趣的贡献,用以更加准确地对用户最终偏好进行建模,提升推荐性能。
本发明通过以下技术方案解决上述技术问题:
一种基于图神经网络的神经时间门自适应融合会话推荐方法,包括:
1)、会话图构建层:将用户的历史会话点击序列作为输入,构建成会话图;
2)、会话嵌入层:通过图神经网络学习项目在会话图上的嵌入,得到项目嵌入的向量表示;
3)、注意力网络层:所有项目向量输入注意力网络,分别提取出用户的长期偏好和短期偏好;
4)、神经时间门层:神经时间门融合长期偏好和短期偏好,生成最终的偏好嵌入;
5)、评分预测层:融合项目嵌入与最终偏好嵌入,其结果输入归一化指数函数,对候选项目进行评分预测。
具体地,所述步骤1)包括:
在数据处理方面,本模型主要基于图神经网络方法,需将用户原始的历史会话点击序列构建成具有原序列对应关系的会话图,使其更好地表示出原序列中的各个项目及其复杂的转换关系,具体如下:将所有会话中的唯一项表示为一个集合V={v1,v2,...,vm},s=[vs,1,vs,2,...,vs,n]表示按时间戳排序的匿名会话序列,其中vs,i∈V表示用户在会话s内点击的第i个项目,以项目vs,i∈V为会话图Gs的节点,(vs,i-1,vs,i)∈εs为会话图Gs的有向边,其边的方向代表一个用户在点击vs,i-1之后点击vs,i,将每个会话序列s构建成一个有向图Gs=(Vs,εs)。
进一步地,步骤2)包括:
为了更好地处理图结构数据,引入了门控图神经网络方法。在考虑丰富节点连接的情况下,能够自动提取会话图的特征向量,即通过图神经网络学习项目在会话图上的嵌入向量vi,其学习过程具体如下:将会话图中的每一个项目的特征表示到一个统一的空间中,得到的向量即为利用GNN得到的d维项目嵌入vi,采用更适合处理序列数据的门控图神经网络对图Gs的节点进行更新,其计算过程为:
其中,被定义为两个相邻的序矩阵/>和/>的级联,表示会话图的传入和传出边的加权连接。邻接矩阵As区分了有向图中边的类型,定义了有向图中的节点如何通过传入和传出的边相互连接。/>为As中的第i行,代表节点vs,i的出度值和入度值。此外,由于会话序列中可能出现重复项,因此需要对每条边计算一个归一化的赋值,该边的初始值除以该节点的传入或传出边的数量。
以上即为通过节点的入度值和出度值聚合其邻居节点的特征信息。其中,是聚合信息后节点的状态向量,/>是会话s中的节点向量的拼接矩阵,/>是可学习的权重矩阵,/>是偏差向量。
其中,是可学习的权重矩阵,σ(·)是sigmoid函数,将连续值映射到(0,1)之间。/>和/>分别是重置门和更新门,重置门过滤掉前一时刻节点状态与当前节点状态无关的部分,更新门决定以前的状态信息保存到当前时间步的内容。
其中,是可学习的权重,tanh(·)表示双曲正切函数,⊙是元素相乘。通过前一状态/>当前状态/>和重置门/>构造候选状态/>在更新门的控制下,将前一个隐藏状态和候选状态组合,不断更新会话图中的所有节点直到收敛之后,获得最终状态的节点向量,图中的节点对应序列中的不同项目,即得到项目嵌入的向量表示vi。
进一步地,步骤3)包括:
为了更好的预测用户的下一次点击,精准提取用户偏好,制定了一种对用户的兴趣进行分层建模的策略。在得到所有项目向量之后,通过注意力网络分别提取用户的长期偏好和短期偏好,具体计算过程如下:
将每个会话表示为嵌入向量对于会话s=[vs,1,vs,2,...,vs,n],局部嵌入sl可以简单地定义为最后一个点击项vs,n的项目向量vn作为用户的短期偏好,即一个会话由参与该会话的最后一个节点向量直接表示:
sl=vn
聚合所有的节点向量提取会话图Gs的全局嵌入sg。由于嵌入中的信息可能具有不同级别的优先级,需要采用注意力机制来更好地表示长期会话偏好。在计算出会话中项目的注意力系数αi后,用户的长期偏好可以表示为注意力系数αi与会话的节点向量vi的加权和,具体描述如下:
αi=qTσ(W1vn+W2vi+c)
其中参数和/>是控制项目嵌入向量的权重矩阵。
进一步地,步骤4)包括:
考虑到用户兴趣的全局稳定性和局部波动性,将会话的长期偏好和短期偏好相结合,能更好地反映当前会话的综合特征,以强调当前偏好与长期稳定偏好对于下一时刻用户兴趣变化的不同程度的影响,更适应用户复杂多变的交互行为。
为了充分融合会话的长短期偏好,使其生成的最终偏好的嵌入向量包含更多当前用户有用的特征信息,根据所提出的神经时间门自适应地融合sl和sg,生成最终偏好的嵌入,其流程如图3所示,具体计算过程如下:
神经时间门的任务是根据上次交互的时间与需要进行推荐的时间之间的滞后Δt,在维度水平上调整长期偏好嵌入和短期偏好嵌入的贡献值。为了将时间延迟编码为一个中间嵌入,将其离散化为给定用户任意两个连续交互之间的最小时间差Δmin的倍数。在这种思想下,离散化的时滞被计算为:
其中,表示δ的最大值。通过上述公式,将Δt映射到一个不超过C的正数,然后通过对一个可学习的嵌入矩阵/>的查找,可以得到时间嵌入/>
t=Tδ
其中,为离散化时滞的独热向量。
通过sigmoid函数计算归一化的神经门控单元向量
g=sigmoid(Wlsl+Wgsg+Wδt+bg)
其中,和/>分别是神经门控中的参数和偏差向量。
给定用户的最终偏好嵌入sz通过以下的融合得到:
其中,表示元素级乘积。另外,g是一个向量而非标量,其作用在于使神经时间门在维度层面上调节长期偏好和短期偏好对用户当前兴趣的贡献。
进一步地,步骤5)包括:
在评分预测层,结合用户的最终偏好,评估候选项目在用户兴趣中的匹配度,通过乘法计算得出每个候选项目的推荐得分,即通过融合偏好嵌入sz和项目嵌入vi,作为用户u对项目vi的归一化评分的预测,应用一个softmax函数得到模型的输出向量
其中,表示所有候选项目的推荐分数,/>是一个0到1之间的小数,表示在会话s中出现下一次点击项目的概率。
对于每个会话图,定义了一个损失函数来计算候选项目的真实概率分布和预测评分之间的交叉熵,写成如下形式:
其中,m是训练集中的唯一项目的数量,yi∈{0,1}是项目vi的预测点击概率,函数用梯度下降法来实现最优化。
经过上述步骤1)到步骤5)的操作之后,得到用户点击某一候选项目的预测概率,具体模型流程如图2所示。对于不同的候选项目,根据计算出的预测概率值按从大到小的顺序排列,取排名前K的项目对于不同的候选项目,根据计算出的预测概率值按从大到小的顺序排列,取排名前K的项目作为推荐的候选项目。
本发明的有益效果如下:
1)、本发明是一种基于会话图的推荐方法,将会话构建成会话图,可以让模型捕捉到会话中极为复杂的项目转移关系。
2)、本发明是一种融合神经时间门的推荐方法,神经门可以自适应地提取与合并长短期偏好中最重要的部分,使得生成的最终偏好的嵌入向量包含更多有用的特征信息,更加全面地获取用户的个性化偏好,使推荐的结果更加符合用户的兴趣。
附图说明
图1为本发明一种基于图神经网络的神经时间门自适应融合会话推荐方法的流程示意图;
图2为本发明一种基于图神经网络的神经时间门自适应融合会话推荐方法的模型框架图;
图3为本发明基于神经时间门方法生成用户最终偏好的模块示意图。
具体实施方式
参照说明书附图和具体实施例对本发明做以下详细地说明。
首先,对需要用到的变量和公式给出相关定义。
定义1.V:所有会话中涉及的所有唯一项组成的集合,且V={v1,v2,...,vm},m代表唯一项集合中项目的数量。
定义2.s:按时间戳排序的匿名会话序列,s=[vs,1,vs,2,...,vs,n],其中vs,i∈V表示用户在会话s内点击的项目。
定义3.Gs:基于每个会话中交互的项目序列构建的有向图Gs=(Vs,εs),图中每个节点代表一个项目vs,i∈V,每条边(vs,i-1,vs,i)∈εs表示一个用户在点击vs,i-1之后点击vs,i。
定义4.v:每个项目通过图神经网络学习到的节点向量其中d是维度。
定义5.s:将每个会话s用一个嵌入向量s表示,该向量由该会话图中使用的节点向量组成。
结合以上变量定义,将最终的问题定义为:给定历史会话序列,对用户兴趣建模,并根据用户偏好预测最可能的下一个点击项目。为了捕捉到会话中项目复杂的转换关系,需要将历史点击序列构建成会话图。出于对用户偏好的全局稳定性和局部波动性的考虑,在对用户兴趣建模的时候,分别提取长短期偏好,并通过神经时间门动态学习长短期偏好对形成用户最终兴趣表征不同程度的贡献。
为此,本发明提出了一种基于图神经网络的神经时间门自适应融合会话推荐方法,方法流程如图1所示,具体包括:
1)、会话图构建层:将用户的历史会话点击序列作为输入,构建成会话图;
2)、会话嵌入层:通过图神经网络学习项目在会话图上的嵌入,得到项目嵌入的向量表示;
3)、注意力网络层:所有项目向量输入注意力网络,分别提取出用户的长期偏好和短期偏好;
4)、神经时间门层:神经时间门融合长期偏好和短期偏好,生成最终的偏好嵌入;
5)、评分预测层:融合项目嵌入与最终偏好嵌入,其结果输入归一化指数函数,对候选项目进行评分预测。
具体地,所述步骤1)包括:
将所有会话中的唯一项表示为一个集合V={v1,v2,...,vm},s=[vs,1,vs,2,...,vs,n]表示按时间戳排序的匿名会话序列,其中vs,i∈V表示用户在会话s内点击的项目,将每个会话序列s构建成一个有向图Gs=(Vs,εs),任一项目vs,i∈V为会话图Gs的节点,(vs,i-1,vs,i)∈εs为会话图Gs的有向边,表示一个用户在点击vs,i-1之后点击vs,i。
进一步地,步骤2)包括:
为了更好地处理图结构数据,引入了门控图神经网络方法。在考虑丰富节点连接的情况下,能够自动提取会话图的特征向量,即通过图神经网络学习项目在会话图上的嵌入向量vi,其学习过程具体如下:将会话图中的每一个项目的特征表示到一个统一的空间中,得到的向量即为利用GNN得到的d维项目嵌入vi,采用更适合处理序列数据的门控图神经网络对图Gs的节点进行更新,其计算过程为:
其中,被定义为两个相邻的序矩阵/>和/>的级联,表示会话图的传入和传出边的加权连接。邻接矩阵As区分了有向图中边的类型,定义了有向图中的节点如何通过传入和传出的边相互连接。/>为As中的第i行,代表节点vs,i的出度值和入度值。此外,由于会话序列中可能出现重复项,因此需要对每条边计算一个归一化的赋值,该边的初始值除以该节点的传入或传出边的数量。
以上即为通过节点的入度值和出度值聚合其邻居节点的特征信息。其中,是聚合信息后节点的状态向量,/>是会话s中的节点向量的拼接矩阵,/>是可学习的权重矩阵,/>是偏差向量。
其中,是可学习的权重矩阵,σ(·)是sigmoid函数,将连续值映射到(0,1)之间。/>和/>分别是重置门和更新门,重置门过滤掉前一时刻节点状态与当前节点状态无关的部分,更新门决定以前的状态信息保存到当前时间步的内容。
其中,是可学习的权重,tanh(·)表示双曲正切函数,⊙是元素相乘。通过前一状态/>当前状态/>和重置门/>构造候选状态/>在更新门的控制下,将前一个隐藏状态和候选状态组合,不断更新会话图中的所有节点直到收敛之后,获得最终状态的节点向量,图中的节点对应序列中的不同项目,即得到项目嵌入的向量表示vi。
进一步地,步骤3)包括:
为了更好的预测用户的下一次点击,精准提取用户偏好,制定了一种对用户的兴趣进行分层建模的策略。在得到所有项目向量之后,通过注意力网络分别提取用户的长期偏好和短期偏好,具体计算过程如下:
将每个会话表示为嵌入向量对于会话s=[vs,1,vs,2,...,vs,n],局部嵌入sl可以简单地定义为最后一个点击项vs,n的项目向量vn作为用户的短期偏好,即一个会话由参与该会话的最后一个节点向量直接表示:
sl=vn
聚合所有的节点向量提取会话图Gs的全局嵌入sg。由于嵌入中的信息可能具有不同级别的优先级,需要采用注意力机制来更好地表示长期会话偏好。在计算出会话中项目的注意力系数αi后,用户的长期偏好可以表示为注意力系数αi与会话的节点向量vi的加权和,具体描述如下:
αi=qTσ(W1vn+W2vi+c)
其中参数和/>是控制项目嵌入向量的权重矩阵。
进一步地,步骤4)包括:
考虑到用户兴趣的全局稳定性和局部波动性,将会话的长期偏好和短期偏好相结合,能更好地反映当前会话的综合特征,以强调当前偏好与长期稳定偏好对于下一时刻用户兴趣变化的不同程度的影响,更适应用户复杂多变的交互行为。
为了充分融合会话的长短期偏好,使其生成的最终偏好的嵌入向量包含更多当前用户有用的特征信息,根据所提出的神经时间门自适应地融合sl和sg,生成最终偏好的嵌入,其流程如图3所示,具体计算过程如下:
神经时间门的任务是根据上次交互的时间与需要进行推荐的时间之间的滞后Δt,在维度水平上调整长期偏好嵌入和短期偏好嵌入的贡献值。为了将时间延迟编码为一个中间嵌入,将其离散化为给定用户任意两个连续交互之间的最小时间差Δmin的倍数。在这种思想下,离散化的时滞被计算为:
其中,表示δ的最大值。通过上述公式,将Δt映射到一个不超过C的正数,然后通过对一个可学习的嵌入矩阵/>的查找,可以得到时间嵌入/>
t=Tδ
其中,为离散化时滞的独热向量。
通过sigmoid函数计算归一化的神经门控单元向量
g=sigmoid(Wlsl+Wgsg+Wδt+bg)
其中,和/>分别是神经门控中的参数和偏差向量。
给定用户的最终偏好嵌入sz通过以下的融合得到:
其中,表示元素级乘积。另外,g是一个向量而非标量,其作用在于使神经时间门在维度层面上调节长期偏好和短期偏好对用户当前兴趣的贡献。
进一步地,步骤5)包括:
在评分预测层,结合用户的最终偏好,评估候选项目在用户兴趣中的匹配度,通过乘法计算得出每个候选项目的推荐得分,即通过融合偏好嵌入sz和项目嵌入vi,作为用户u对项目vi的归一化评分的预测,应用一个softmax函数得到模型的输出向量
其中,表示所有候选项目的推荐分数,/>是一个0到1之间的小数,表示在会话s中出现下一次点击项目的概率。
对于每个会话图,定义了一个损失函数来计算候选项目的真实概率分布和预测评分之间的交叉熵,写成如下形式:
其中,m是训练集中的唯一项目的数量,yi∈{0,1}是项目vi的预测点击概率,函数用梯度下降法来实现最优化。
经过上述步骤1)到步骤5)的操作之后,得到用户点击某一候选项目的预测概率,具体模型流程如图2所示。对于不同的候选项目,根据计算出的预测概率值按从大到小的顺序排列,取排名前K的项目对于不同的候选项目,根据计算出的预测概率值按从大到小的顺序排列,取排名前K的项目作为推荐的候选项目。
以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。
Claims (6)
1.一种基于图神经网络的神经时间门自适应融合会话推荐方法,其特征在于,包括以下步骤:
1)、会话图构建层:将用户的历史会话点击序列作为输入,构建成会话图;
2)、会话嵌入层:通过图神经网络学习项目在会话图上的嵌入,得到项目嵌入的向量表示;
3)、注意力网络层:所有项目向量输入注意力网络,分别提取出用户的长期偏好和短期偏好;
4)、神经时间门层:神经时间门融合长期偏好和短期偏好,生成最终的偏好嵌入;
5)、评分预测层:融合项目嵌入与最终偏好嵌入,其结果输入归一化指数函数,对候选项目进行评分预测。
2.根据权利要求1所述的一种基于图神经网络的神经时间门自适应融合会话推荐方法,其特征在于,所述步骤1)包括:
在数据处理方面,本模型主要基于图神经网络方法,需将用户原始的历史会话点击序列构建成具有原序列对应关系的会话图,使其更好地表示出原序列中的各个项目及其复杂的转换关系,具体如下:将所有会话中的唯一项表示为一个集合V={v1,v2,...,vm},s=[vs,1,vs,2,...,vs,n]表示按时间戳排序的匿名会话序列,其中vs,i∈V表示用户在会话s内点击的第i个项目,以项目vs,i∈V为会话图Gs的节点,(vs,i-1,vs,i)∈εs为会话图Gs的有向边,其边的方向代表一个用户在点击vs,i-1之后点击vs,i,将每个会话序列s构建成一个有向图Gs=(Vs,εs)。
3.根据权利要求1所述的一种基于图神经网络的神经时间门自适应融合会话推荐方法,其特征在于,所述步骤2)包括:
为了更好地处理图结构数据,引入了门控图神经网络方法。在考虑丰富节点连接的情况下,能够自动提取会话图的特征向量,即通过图神经网络学习项目在会话图上的嵌入向量vi,其学习过程具体如下:将会话图中的每一个项目的特征表示到一个统一的空间中,得到的向量即为利用GNN得到的d维项目嵌入vi,采用更适合处理序列数据的门控图神经网络对图Gs的节点进行更新,其计算过程为:
其中,被定义为两个相邻的序矩阵/>和/>的级联,表示会话图的传入和传出边的加权连接。邻接矩阵As区分了有向图中边的类型,定义了有向图中的节点如何通过传入和传出的边相互连接。/>为As中的第i行,代表节点vs,i的出度值和入度值。此外,由于会话序列中可能出现重复项,因此需要对每条边计算一个归一化的赋值,该边的初始值除以该节点的传入或传出边的数量。
以上即为通过节点的入度值和出度值聚合其邻居节点的特征信息。其中,是聚合信息后节点的状态向量,/>是会话s中的节点向量的拼接矩阵,/>是可学习的权重矩阵,/>是偏差向量。
其中,是可学习的权重矩阵,σ(·)是sigmoid函数,将连续值映射到(0,1)之间。/>和/>分别是重置门和更新门,重置门过滤掉前一时刻节点状态与当前节点状态无关的部分,更新门决定以前的状态信息保存到当前时间步的内容。
其中,是可学习的权重,tanh(·)表示双曲正切函数,⊙是元素相乘。通过前一状态/>当前状态/>和重置门/>构造候选状态/>在更新门的控制下,将前一个隐藏状态和候选状态组合,不断更新会话图中的所有节点直到收敛之后,获得最终状态的节点向量,图中的节点对应序列中的不同项目,即得到项目嵌入的向量表示vi。
4.根据权利要求1所述的一种基于图神经网络的神经时间门自适应融合会话推荐方法,其特征在于,所述步骤3)包括:
为了更好的预测用户的下一次点击,精准提取用户偏好,制定了一种对用户的兴趣进行分层建模的策略。在得到所有项目向量之后,通过注意力网络分别提取用户的长期偏好和短期偏好,具体计算过程如下:
将每个会话表示为嵌入向量对于会话s=[vs,1,vs,2,...,vs,n],局部嵌入sl可以简单地定义为最后一个点击项vs,n的项目向量vn作为用户的短期偏好,即一个会话由参与该会话的最后一个节点向量直接表示:
sl=vn
聚合所有的节点向量提取会话图Gs的全局嵌入sg。由于嵌入中的信息可能具有不同级别的优先级,需要采用注意力机制来更好地表示长期会话偏好。在计算出会话中项目的注意力系数αi后,用户的长期偏好可以表示为注意力系数αi与会话的节点向量vi的加权和,具体描述如下:
ai=qTσ(W1vn+W2vi+c)
其中参数和/>是控制项目嵌入向量的权重矩阵。
5.根据权利要求1所述的一种基于图神经网络的神经时间门自适应融合会话推荐方法,其特征在于,所述步骤4)包括:
考虑到用户兴趣的全局稳定性和局部波动性,将会话的长期偏好和短期偏好相结合,能更好地反映当前会话的综合特征,以强调当前偏好与长期稳定偏好对于下一时刻用户兴趣变化的不同程度的影响,更适应用户复杂多变的交互行为。
为了充分融合会话的长短期偏好,使其生成的最终偏好的嵌入向量包含更多当前用户有用的特征信息,根据所提出的神经时间门自适应地融合sl和sg,生成最终偏好的嵌入,其流程如图3所示,具体计算过程如下:
神经时间门的任务是根据上次交互的时间与需要进行推荐的时间之间的滞后Δt,在维度水平上调整长期偏好嵌入和短期偏好嵌入的贡献值。为了将时间延迟编码为一个中间嵌入,将其离散化为给定用户任意两个连续交互之间的最小时间差Δmin的倍数。在这种思想下,离散化的时滞被定义为:
其中,表示δ的最大值。通过上述公式,将Δt映射到一个不超过C的正数,然后通过对一个可学习的嵌入矩阵/>的查找,可以得到时间嵌入/>
t=Tδ
其中,为离散化时滞的独热向量。
通过sigmoid函数计算归一化的神经门控单元向量
g=sigmoid(Wisi+Wgsg+Wδt+bg)
其中,和/>分别是神经门控中的参数和偏差向量。
给定用户的最终偏好嵌入sz通过以下的融合得到:
其中,表示元素级乘积。另外,g是一个向量而非标量,其作用在于使神经时间门在维度层面上调节长期偏好和短期偏好对用户当前兴趣的贡献。
6.根据权利要求1所述的一种基于图神经网络的神经时间门自适应融合会话推荐方法,其特征在于,所述步骤5)包括:
在评分预测层,结合用户的最终偏好,评估候选项目在用户兴趣中的匹配度,通过乘法计算得出每个候选项目的推荐得分,即通过融合偏好嵌入sz和项目嵌入vi,作为用户u对项目vi的归一化评分的预测,应用一个softmax函数得到模型的输出向量
其中,表示所有候选项目的推荐分数,/>是一个0到1之间的小数,表示在会话s中出现下一次点击项目的概率。
对于每个会话图,定义了一个损失函数来计算候选项目的真实概率分布和预测评分之间的交叉熵,写成如下形式:
其中,m是训练集中的唯一项目的数量,yi∈{0,1}是项目vi的预测点击概率,函数用梯度下降法来实现最优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310804951.3A CN116662532A (zh) | 2023-07-03 | 2023-07-03 | 一种基于图神经网络的神经时间门自适应融合会话推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310804951.3A CN116662532A (zh) | 2023-07-03 | 2023-07-03 | 一种基于图神经网络的神经时间门自适应融合会话推荐方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116662532A true CN116662532A (zh) | 2023-08-29 |
Family
ID=87717217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310804951.3A Pending CN116662532A (zh) | 2023-07-03 | 2023-07-03 | 一种基于图神经网络的神经时间门自适应融合会话推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116662532A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117763300A (zh) * | 2023-12-04 | 2024-03-26 | 淮阴工学院 | 基于时态图转换器和偏好波动的智能程序推荐方法 |
-
2023
- 2023-07-03 CN CN202310804951.3A patent/CN116662532A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117763300A (zh) * | 2023-12-04 | 2024-03-26 | 淮阴工学院 | 基于时态图转换器和偏好波动的智能程序推荐方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110659411B (zh) | 一种基于神经注意力自编码器的个性化推荐方法 | |
CN108876044B (zh) | 一种基于知识增强神经网络的线上内容流行度预测方法 | |
CN113407864B (zh) | 一种基于混合注意力网络的群组推荐方法 | |
CN114817663B (zh) | 一种基于类别感知图神经网络的服务建模与推荐方法 | |
CN112733027A (zh) | 一种基于局部和全局表示模型联合学习的混合推荐算法 | |
CN112765461A (zh) | 一种基于多兴趣胶囊网络的会话推荐方法 | |
CN116662532A (zh) | 一种基于图神经网络的神经时间门自适应融合会话推荐方法 | |
CN114492763A (zh) | 一种融合全局上下文信息注意力增强的图神经网络方法 | |
CN109857928B (zh) | 基于多元信用评估的用户偏好预测方法 | |
CN113590965B (zh) | 一种融合知识图谱与情感分析的视频推荐方法 | |
CN114238765A (zh) | 一种基于区块链的位置注意力推荐方法 | |
CN114971784B (zh) | 一种融合自注意力机制基于图神经网络的会话推荐方法与系统 | |
CN116702976A (zh) | 基于建模动态企业关系的企业资源预测方法以及装置 | |
CN115470406A (zh) | 一种基于双通道信息融合的图神经网络会话推荐方法 | |
CN113962748A (zh) | 基于元路径的全貌信息表示异质电商平台用户对齐方法 | |
Zhang et al. | SDU: State-based dual-mode sensor search mechanism toward Internet of Things | |
CN117556133A (zh) | 一种基于图神经网络的神经时间门时序增强会话推荐方法 | |
CN114358474A (zh) | 一种典型多能用户模型建立方法 | |
CN113569139A (zh) | 一种个性化会话推荐方法和系统 | |
CN117635218B (zh) | 基于六度分离理论和图注意网络的商圈流量预测方法 | |
CN117274616B (zh) | 一种多特征融合深度学习服务QoS预测系统及预测方法 | |
CN116894097B (zh) | 一种基于超图建模的知识图谱标签预测方法 | |
CN117951282B (zh) | 一种融合多元信息的图神经网络会话推荐方法 | |
Shen et al. | A Social Recommendation Model based on dual attention mechanism | |
Mao et al. | Integrating Star Graph and Dynamic Intent Awareness for Session-based Recommendation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |