CN116595157B - 基于用户意图融合的动态兴趣转移型会话推荐方法与系统 - Google Patents

基于用户意图融合的动态兴趣转移型会话推荐方法与系统 Download PDF

Info

Publication number
CN116595157B
CN116595157B CN202310875198.7A CN202310875198A CN116595157B CN 116595157 B CN116595157 B CN 116595157B CN 202310875198 A CN202310875198 A CN 202310875198A CN 116595157 B CN116595157 B CN 116595157B
Authority
CN
China
Prior art keywords
user
representation
representing
project
term
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310875198.7A
Other languages
English (en)
Other versions
CN116595157A (zh
Inventor
钱忠胜
张丁
王亚惠
俞情媛
秦朗悦
蒋鹏
万子珑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Finance and Economics
Original Assignee
Jiangxi University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Finance and Economics filed Critical Jiangxi University of Finance and Economics
Priority to CN202310875198.7A priority Critical patent/CN116595157B/zh
Publication of CN116595157A publication Critical patent/CN116595157A/zh
Application granted granted Critical
Publication of CN116595157B publication Critical patent/CN116595157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出一种基于用户意图融合的动态兴趣转移型会话推荐方法与系统，该方法包括：在已有的用户‑项目交互基础上，通过结合邻居路由机制与嵌入传播机制的异构图神经网络获取异构化用户意图表示与项目分块表示；将异构化用户意图表示作为权重并结合时间渐进性与多标签语义性对用户‑项目交互进行划分，得到包含长期兴趣和短期兴趣的会话；基于获取的异构化用户意图表示与项目分块表示和包含长期兴趣和短期兴趣的会话，利用transformer‑xl得到用户最新动态偏好，基于该用户最新动态偏好对用户进行项目推荐。本发明能够解决现有技术容易造成用户行为单一化、用户部分兴趣在划分时被割裂或忽视、得到的用户偏好为静态的等问题。

Description

基于用户意图融合的动态兴趣转移型会话推荐方法与系统
技术领域
本发明涉及数据处理技术领域，特别是涉及一种基于用户意图融合的动态兴趣转移型会话推荐方法与系统。
背景技术
会话推荐模型能够通过上下文感知将交互数据划分为一系列会话，旨在捕获短期但动态的用户兴趣，以便提供及时和准确的推荐服务。会话推荐模型在当今成熟的机器学习方法推动下，已能高效地挖掘用户-项目交互等显隐式信息，在应用上取得良好效果。
然而，现有的工作在对用户兴趣建模时，忽略异构化用户意图，将用户意图看成一致的、单一的，进而对其统一建模，容易造成用户行为单一化，导致难以达到准确、及时的动态兴趣转移。而且，因大部分模型仅按照时间戳进行会话划分，而未考虑数据本身的多标签语义，故导致用户部分兴趣在划分时被割裂或忽视。另外，由于忽略历史会话对用户最新偏好的影响，导致最终得到的用户偏好为静态的。
发明内容
为此，本发明的实施例提出一种基于用户意图融合的动态兴趣转移型会话推荐方法与系统，以解决现有技术容易造成用户行为单一化、用户部分兴趣在划分时被割裂或忽视、得到的用户偏好为静态的等问题。
根据本发明一实施例提出的基于用户意图融合的动态兴趣转移型会话推荐方法，所述方法包括如下步骤：
步骤1，在已有的用户-项目交互基础上，通过结合邻居路由机制与嵌入传播机制的异构图神经网络获取异构化用户意图表示与项目分块表示；
步骤2，将异构化用户意图表示作为权重并结合时间渐进性与多标签语义性对用户-项目交互进行划分，得到包含长期兴趣和短期兴趣的会话；
步骤3，基于步骤1获取的异构化用户意图表示与项目分块表示和步骤2得到的包含长期兴趣和短期兴趣的会话，利用transformer-xl得到用户最新动态偏好，基于该用户最新动态偏好对用户进行项目推荐。
本发明还提出一种基于用户意图融合的动态兴趣转移型会话推荐系统，应用如上所述的基于用户意图融合的动态兴趣转移型会话推荐方法，所述系统包括：
信息获取模块，用于：
在已有的用户-项目交互基础上，通过结合邻居路由机制与嵌入传播机制的异构图神经网络获取异构化用户意图表示与项目分块表示；
交互划分模块，用于：
将异构化用户意图表示作为权重并结合时间渐进性与多标签语义性对用户-项目交互进行划分，得到包含长期兴趣和短期兴趣的会话；
项目推荐模块，用于基于获取的异构化用户意图表示与项目分块表示和得到的包含长期兴趣和短期兴趣的会话，利用transformer-xl得到用户最新动态偏好，基于该用户最新动态偏好对用户进行项目推荐。
根据本发明实施例提出的基于用户意图融合的动态兴趣转移型会话推荐方法与系统，首先以用户-项目为核心，通过嵌入传播机制、邻居路由机制以及异构图神经网络，生成用户异构化意图表示，避免建模时造成用户行为单一化；其次，通过融合时间渐进性与多标签语义，能够结合时间距离与语义相似性，重组会话，避免兴趣在会话划分中被割裂或忽视而使用户兴趣转移不合理；最后，通过嵌入的异构化用户意图表示，使用transformer-xl机制衡量历史会话对最近会话的影响， 得到用户动态的、最新的偏好，有利于准确预测下一个交互。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施例的融合用户意图的动态兴趣转移型会话推荐方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提出一种基于用户意图融合的动态兴趣转移型会话推荐方法，包括步骤1至步骤3：
步骤1，在已有的用户-项目交互基础上，通过结合邻居路由机制与嵌入传播机制的异构图神经网络获取异构化用户意图表示与项目分块表示。
利用协同过滤的思想，通过邻居路由机制获取用户意图，并结合嵌入传播机制迭代更新意图。为保证用户兴趣的特性与共性，利用异构图神经网络的异质性实现多图间信息转移，达到用户意图的异构化与个性化。
具体的，步骤1包括：
步骤1.1，将不同类别的项目节点通过特征映射到同一空间；
为每个项目节点聚合来自不同邻居节点信息之前，每个项目节点在基于各路径的邻居节点嵌入中扮演不同的角色，并呈现出不同的重要性。因此，为学习邻居节点路径对异构化用户意图的影响，引入节点级注意力并聚合这些有意义的邻居表示形成节点嵌入。因用户-项目节点的维度不同，故需要将项目节点的特征映射到同一空间，步骤1.1中，将不同类别的项目节点通过特征映射到同一空间的映射表达式为：
；
其中，表示项目节点的类别，/>为映射矩阵，/>为初始项目节点表示，/>为特征映射后的项目节点表示。
步骤1.2，计算项目节点的重要性，再通过分离得到单用户异构化意图分块表示；
得到所有项目节点的特征映射后，在已有用户-项目交互基础上，为分离用户意图，需衡量项目节点间的重要性，可通过注意力网络计算项目节点与其邻居间的注意力，计算公式为：
；
其中，表示项目节点的权重，/>为特征映射后的第i个项目节点表示，/>为特征映射后的第j个项目节点表示，/>表示节点注意力网络，/>表示元路径；
为保证单个意图的独立性与细粒度，使用异构图神经网络为每个用户意图单独建模。在完成第一跳邻居后，进一步堆叠更高跳邻居的信息来更新用户意图表示，从而对其进一步丰富。因异构图神经网络节点间不具备对称性，故在获取后，对其进行softmax运算得到/>，从而获得节点关于元路径/>的嵌入表示，具体公式如下：
；
其中，是项目节点/>关于元路径/>的嵌入表示，/>表示/>归一化后的值，/>表示sigmoid函数，/>表示项目节点/>，/>表示用户u第im跳邻居的项目集。
以上的目的是为获得单用户的异构化意图分离，在获取用户的更高跳信息后设置意图感知更新次数为m，在第m次迭代后，在单个用户意图上嵌入传播机制，用于更新用户意图分布，更新公式如下：
；
其中，表示项目节点/>；/>表示在第m次迭代后，用户u从其邻居集中收集信息更新后的用户意图表示；/>是用户u和项目节点/>的Laplacian矩阵。
步骤1.3，通过神经网络迭代更新获取的单用户异构化意图分块表示；
得到单用户异构化意图分块表示后，采用结合邻居路由机制与嵌入传播机制的异构图神经网络，获取多用户异构化意图组合，具体的，步骤1.3满足以下条件式：
；
；
；
其中，是一层迭代更新后项目节点/>的第k个分块表示，/>是一层迭代更新后用户u的第k个意图表示；/>是项目节点/>的第k个分块表示，/>是用户u的第k个意图表示，为在第1次迭代后，用户u从其邻居集中收集信息更新后的用户意图表示；/>是用户u的第1跳邻居；/>是用户u从第1跳邻居集收集到的与第k个意图相关的信息；/>是神经网络第一层获取的项目表示函数，/>是异构化用户意图表示函数，/>是非线性激活函数；为/>层迭代更新后项目节点/>的第k个分块表示，/>表示用户u从第im-1跳邻居集收集到的与第k个意图相关的信息。
步骤1.4，对多个更新后的单用户异构化意图分块表示进行组合，得到多用户异构化意图分块表示，采用多层异构图神经网络迭代更新多用户异构化意图分块表示，并将离散的多用户异构化意图分块表示重新组合，得到异构化用户意图表示和项目分块表示。
利用第一跳邻居的信息来更新用户表示后，将收集到的更高跳邻居的信息来更新、丰富用户表示，具体的，步骤1.4满足以下条件式：
；
；
；
；
；
其中，为/>层迭代更新后用户u的第k个意图表示，/>为/>层迭代更新后用户u的第k个意图表示，/>是初始的用户u的第k个意图表示，/>为/>层迭代更新后用户u的第k个意图表示，/>是第k块的异构化用户意图表示，/>是初始的项目节点/>的第k个分块表示，/>是L层迭代更新后项目节点/>的第k个分块表示，/>是第k块的项目分块表示，/>是用户u的异构化用户意图表示，/>是项目v的项目分块表示，/>是第1块的异构化用户意图表示，/>是第2块的异构化用户意图表示，/>是第1块的项目分块表示，/>是第2块的项目分块表示。
利用基于邻居路由机制与嵌入传播机制的异构图神经网络得到异构化用户意图表示与项目表示，接下来将异构化用户意图用于在会话中对用户兴趣转移进行建模，进而得到用户的长期兴趣和短期兴趣。
步骤2，将异构化用户意图表示作为权重并结合时间渐进性与多标签语义性对用户-项目交互进行划分，得到包含长期兴趣和短期兴趣的会话。
从用户-项目交互的时间戳与产生的多标签语义重新划分会话，利用异构化用户意图用于在会话中对用户兴趣转移进行建模，进而得到包含用户长短期兴趣的会话划分。通过新的划分策略进一步对用户兴趣在连续时间范围内重新聚类，将松散的用户兴趣初步划分在相近会话内，从而解决传统划分方式造成的用户兴趣被割裂或忽视的问题。
具体的，步骤2包括：
步骤2.1，在异构化用户意图表示的基础上，设计结合时间渐进性与多标签语义性的划分会话方式；
本发明中，将历史交互与最近交互特征的时间序列与语义序列作为决定会话长度的重要因素，即，会话划分随着时间与多标签语义的变化而变化，是动态的。
多标签语义同样会影响会话的划分，为考察数据多标签语义的相似性，需对数据标签进行相应表示。本发明采用词移距离(WMD)方法判断语义相似性，距离越大表示多标签文本的语义相似度越小。
具体的，步骤2.1满足以下条件式：
；
；
其中，表示时间间隔嵌入函数，/>表示会话时间间隔，/>表示sigmoid函数，/>表示时间间隔误差值，/>表示词移距离，/>与/>分别表示第x个多标签文本和第x+1个多标签文本，/>、/>分别表示/>、/>的长度，与/>分别是/>与/>中的词向量，/>表示/>与/>距离权重，/>表示词向量/>与/>的欧式距离。
步骤2.2，利用设计的划分会话方式，将异构化用户意图表示作为权重对会话进行划分，得到一系列的会话；
其中，步骤2.2满足以下条件式：
；
其中，表示用户u的第i个会话，/>表示项目节点/>的多标签集，len表示长度计算函数，/>表示距离运算符号。多标签集/>可判断后续项目的多标签与该项目多标签的相似性。为便于神经网络对划分后会话的训练，根据数据集的大小，控制会话内项目数最少为2，最大为21。
步骤2.3，利用门循环控制单元更新迭代会话，得到包含长期兴趣和短期兴趣的会话。
对于用户u，将其所有会话建模为一个有向图。在图/>中，因项目节点/>与/>在有向图中有代表不同意义的出入方向，故项目节点/>对/>的重要性与节点/>对/>的重要性不同，即节点权重为非对称的。具体的，节点间的路径权重的计算公式如下：
；
其中，表示路径权重，n表示与项目节点/>关联的全部节点数，/>表示项目节点/>，/>表示项目节点之间交互路径数量计算的函数，/>是项目节点/>关于元路径/>的嵌入表示，/>是项目节点/>关于元路径/>的嵌入表示，/>是项目节点/>关于元路径/>的嵌入表示。
不同用户有不同的交互行为，这导致每个用户的项目节点转换方式不同。故在设计兴趣转移模块时，考虑用户意图的因素。在每次节点更新时，将带有异构化用户意图的特征表示与当前会话节点表示线性融合。例如，在t时，聚合信息如下式：
；
表示从项目节点/>到项目节点/>的聚合信息，/>表示用户-项目交互邻接矩阵，/>为t-1刻会话的节点表示，/>表示连接操作。
本发明使用门控循环单元(GRU)合并来自前一时间的其它节点信息，并更新每个会话节点的隐藏状态，如下式所示：
；
；
其中，是门循环控制单元的更新门，/>为门循环控制单元的重置门，/>是sigmoid激活函数，/>表示按位相乘操作，/>是非线性激活函数，/>表示经过/>控制边界后得到的兴趣隐藏状态，/>、/>、/>、/>、/>、/>为门循环控制单元中所有用户的共享参数；/>表示经过t个时间步后，得到的第/>个兴趣隐藏状态；/>表示经过t个时间步后，得到的第1个兴趣隐藏状态；/>表示经过t个时间步后，得到的第2个兴趣隐藏状态；/>表示经过t个时间步后，得到的第y个兴趣隐藏状态；/>表示长期兴趣；
得到长期兴趣后，对所有的会话截取掉长期兴趣/>，即得到短期兴趣/>。将用户兴趣聚集在连续时间内，用于后续获取用户最新动态偏好。
步骤3，基于步骤1获取的异构化用户意图表示与项目分块表示和步骤2得到的包含长期兴趣和短期兴趣的会话，利用transformer-xl得到用户最新动态偏好，基于该用户最新动态偏好对用户进行项目推荐。
利用上个步骤划分的会话对每个会话节点均采用transformer-xl衡量会话间的权重，再以长期会话的共同兴趣来分析用户短期兴趣，便于获取用户的短期动态兴趣变化，实现用户最新偏好的动态化。具体的，步骤3包括：
步骤3.1，通过线性关系将长期兴趣和短期兴趣映射到同一维度；
需要指出的是，先通过线性关系将长期兴趣和短期兴趣映射到同一维度，方便后续衡量长期兴趣对短期兴趣的影响。
具体的，步骤3.1满足以下条件式：
；
；
其中，表示注意力；/>、/>、/>分别表示transformer-xl机制中的查询、键、值；T表示转置操作，/>表示键值比例因子，/>为多头注意力函数；/>表示最近兴趣片段；/>、/>、/>表示共享矩阵，/>表示transformer-xl编码解码时间步，/>表示时间步/>+1时的用户长期兴趣，/>表示时间步/>+1时的用户长期兴趣隐藏状态，表示时间步/>+1时更新的用户长期兴趣；/>、/>、/>表示时间步/>+1时的Q、K、V的值；/>表示在时间步/>+1整合的用户整体偏好。
步骤3.2，步骤1获取的异构化用户意图表示与项目分块表示和步骤2得到的包含长期兴趣和短期兴趣的会话，利用transformer-xl得到用户最新动态偏好；
步骤3.2满足以下条件式：
；
；
；
其中，为长期兴趣影响短期兴趣的权重，/>为注意力函数；/>表示经过t个时间步后，得到的第xb个兴趣隐藏状态；/>表示经过t个时间步后，得到的第ib个兴趣隐藏状态；/>表示指数；/>表示用户部分最新动态偏好；/>表示用户最新动态偏好，/>表示线性变换矩阵。
步骤3.3，基于用户最新动态偏好，通过softmax函数输出预测项目分值，并通过随机梯度下降法来迭代优化损失函数；
为减小用户最新预测偏好与用户实际偏好的误差，提高用户特征的精确度及模型性能，本发明使用交叉熵损失函数优化模型，同时利用softmax函数来输出预测项目分值，如下式所示：
；
其中，表示预测项目分值，/>表示转置操作。
对于任何用户，损失函数被定义为预测项目的交叉熵，如下式所示：
；
其中，表示损失函数；/>、/>分别表示真实值和预测值，/>为正则项，/>为正则项/>的权重。
使用随机梯度下降法来迭代优化损失函数，在每个训练回合，首先，采样出一个小批量的训练样本；然后，计算损失函数关于模型参数的梯度；最后，通过对小批量样本进行采样得到反向传播中的参数值。
步骤3.4，将预测项目分值高于阈值的项目推荐给用户。
基于以上步骤，得到了用户最新动态偏好，即基于数据集下的用户下一步可能交互的预测项目分值，根据该预测项目分值，向用户推荐将预测项目分值高于阈值的项目。不仅如此，当数据集更换时，能通过该方法，迅速拿到用户其他数据集下的最新动态偏好，并进行预测。
与仅采用随机初始化的用户表示相比，异构化用户意图表示对推荐性能的影响较大。为解决现有方法无法准确捕获用户兴趣的问题，考虑为用户单独建模获取用户多意图表示。用户的交互项目受用户本身需求及外界潜在因素的影响，尽管在多数情况下，用户本身的兴趣是影响其选择项目的主要因素，但是忽略用户与项目交互的出发点直接对交互建模以寻找用户兴趣，会导致最终的推荐不准确。而本申请提出的异构化用户意图很好地解决了该问题。
融合时间渐进性与多标签语义的会话划分方法对模型性能的影响最明显。由于相邻事件在时间上的细微差异，以及不断变化的上下文信息，兴趣可能会有很大差异。每个历史事件的时间和上下文将支持用户连续行为的细粒度解释，以便更准确地描绘当前用户偏好，这一认识得到所使用实验数据集的进一步支持。在三个大型数据集获得的初始用户-项目在一定时间间隔内交互数量统计情况，其中出现的混合高斯形状表明，仅将时间间隔作为会话划分的标准是不够准确的，因为用户兴趣往往会被割裂或忽视。即，我们提出会话的划分不再严格按照时间间隔，而是结合数据交互的时间渐进性与多标签语义来自动划分，极大程度上避免了用户兴趣被割裂或忽视的现象。
transformer-xl机制在衡量历史会话对最新偏好的影响方面具有一定作用，进而会影响推荐准确性。为衡量历史会话节点嵌入对用户最新偏好的影响，本发明引入transformer-xl机制来计算节点间的权重。另外，transformer-xl机制还能解决长会话建模能力不足的问题。受限于算力问题，对于长会话，考虑到参数维度，若一次全部输入，无法准确计算历史会话在最新偏好上的权重；而通过分割成长度均等的片段且每个片段间单独处理，能很好地衡量历史会话对短期偏好的影响，进而得到用户最新的、动态的偏好。
本发明还提出一种基于用户意图融合的动态兴趣转移型会话推荐系统，应用如上所述的基于用户意图融合的动态兴趣转移型会话推荐方法，所述系统包括：
信息获取模块，用于：
在已有的用户-项目交互基础上，通过结合邻居路由机制与嵌入传播机制的异构图神经网络获取异构化用户意图表示与项目分块表示；
交互划分模块，用于：
将异构化用户意图表示作为权重并结合时间渐进性与多标签语义性对用户-项目交互进行划分，得到包含长期兴趣和短期兴趣的会话；
项目推荐模块，用于基于获取的异构化用户意图表示与项目分块表示和得到的包含长期兴趣和短期兴趣的会话，利用transformer-xl得到用户最新动态偏好，基于该用户最新动态偏好对用户进行项目推荐。
综上，根据本发明实施例提出的基于用户意图融合的动态兴趣转移型会话推荐方法与系统，首先以用户-项目为核心，通过嵌入传播机制、邻居路由机制以及异构图神经网络，生成用户异构化意图表示，避免建模时造成用户行为单一化；其次，通过融合时间渐进性与多标签语义，能够结合时间距离与语义相似性，重组会话，避免兴趣在会话划分中被割裂或忽视而使用户兴趣转移不合理；最后，通过嵌入的异构化用户意图表示，使用transformer-xl机制衡量历史会话对最近会话的影响， 得到用户动态的、最新的偏好，有利于准确预测下一个交互。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (2)

1.一种基于用户意图融合的动态兴趣转移型会话推荐方法，其特征在于，所述方法包括如下步骤：
步骤1，在已有的用户-项目交互基础上，通过结合邻居路由机制与嵌入传播机制的异构图神经网络获取异构化用户意图表示与项目分块表示；
步骤2，将异构化用户意图表示作为权重并结合时间渐进性与多标签语义性对用户-项目交互进行划分，得到包含长期兴趣和短期兴趣的会话；
步骤3，基于步骤1获取的异构化用户意图表示与项目分块表示和步骤2得到的包含长期兴趣和短期兴趣的会话，利用transformer-xl得到用户最新动态偏好，基于该用户最新动态偏好对用户进行项目推荐；
步骤1具体包括：
步骤1.1，将不同类别的项目节点通过特征映射到同一空间；
步骤1.2，计算项目节点的重要性，再通过分离得到单用户异构化意图分块表示；
步骤1.3，通过神经网络迭代更新获取的单用户异构化意图分块表示；
步骤1.4，对多个更新后的单用户异构化意图分块表示进行组合，得到多用户异构化意图分块表示，采用多层异构图神经网络迭代更新多用户异构化意图分块表示，并将离散的多用户异构化意图分块表示重新组合，得到异构化用户意图表示和项目分块表示；
步骤2具体包括：
步骤2.1，在异构化用户意图表示的基础上，设计结合时间渐进性与多标签语义性的划分会话方式；
步骤2.2，利用设计的划分会话方式，将异构化用户意图表示作为权重对会话进行划分，得到一系列的会话；
步骤2.3，利用门循环控制单元更新迭代会话，得到包含长期兴趣和短期兴趣的会话；
步骤3具体包括：
步骤3.1，通过线性关系将长期兴趣和短期兴趣映射到同一维度；
步骤3.2，步骤1获取的异构化用户意图表示与项目分块表示和步骤2得到的包含长期兴趣和短期兴趣的会话，利用transformer-xl得到用户最新动态偏好；
步骤3.3，基于用户最新动态偏好，通过softmax函数输出预测项目分值，并通过随机梯度下降法来迭代优化损失函数；
步骤3.4，将预测项目分值高于阈值的项目推荐给用户；
步骤1.1中，将不同类别的项目节点通过特征映射到同一空间的映射表达式为：
；
其中，表示项目节点的类别，/>为映射矩阵，/>为初始项目节点表示，/>为特征映射后的项目节点表示；
步骤1.2满足以下条件式：
；
其中，表示项目节点的权重，/>为特征映射后的第i个项目节点表示，/>为特征映射后的第j个项目节点表示，/>表示节点注意力网络，/>表示元路径；
步骤1.2还满足以下条件式：
；
；
其中，表示/>归一化后的值，/>表示sigmoid函数，/>表示项目节点/>，/>表示用户u第im跳邻居的项目集；/>表示在第m次迭代后，用户u从其邻居集中收集信息更新后的用户意图表示；/>是项目节点/>关于元路径/>的嵌入表示，/>是用户u和项目节点/>的Laplacian矩阵；
步骤1.3满足以下条件式：
；
；
；
其中，是一层迭代更新后项目节点/>的第k个分块表示，/>是一层迭代更新后用户u的第k个意图表示；/>是项目节点/>的第k个分块表示，/>是用户u的第k个意图表示，/>为在第1次迭代后，用户u从其邻居集中收集信息更新后的用户意图表示；/>是用户u的第1跳邻居；/>是用户u从第1跳邻居集收集到的与第k个意图相关的信息；/>是神经网络第一层获取的项目表示函数，/>是异构化用户意图表示函数，/>是非线性激活函数；为/>层迭代更新后项目节点/>的第k个分块表示，/>表示用户u从第im-1跳邻居集收集到的与第k个意图相关的信息；
步骤1.4满足以下条件式：
；
；
；
；
；
其中，为/>层迭代更新后用户u的第k个意图表示，/>为/>层迭代更新后用户u的第k个意图表示，/>是初始的用户u的第k个意图表示，/>为/>层迭代更新后用户u的第k个意图表示，/>是第k块的异构化用户意图表示，/>是初始的项目节点/>的第k个分块表示，/>是L层迭代更新后项目节点/>的第k个分块表示，/>是第k块的项目分块表示，/>是用户u的异构化用户意图表示，/>是项目v的项目分块表示，/>是第1块的异构化用户意图表示，/>是第2块的异构化用户意图表示，/>是第1块的项目分块表示，/>是第2块的项目分块表示；
步骤2.1满足以下条件式：
；
；
其中，表示时间间隔嵌入函数，/>表示会话时间间隔，/>表示sigmoid函数，/>表示时间间隔误差值，/>表示词移距离，/>与/>分别表示第x个多标签文本和第x+1个多标签文本，/>、/>分别表示/>、/>的长度，/>与分别是/>与/>中的词向量，/>表示/>与距离权重，/>表示词向量/>与的欧式距离；
步骤2.2满足以下条件式：
；
其中，表示用户u的第i个会话，/>表示项目节点/>的多标签集，len表示长度计算函数，/>表示距离运算符号；
步骤2.3满足以下条件式：
；
；
其中，表示路径权重，n表示与项目节点/>关联的全部节点数，/>表示项目节点，/>表示项目节点之间交互路径数量计算的函数，/>是项目节点/>关于元路径/>的嵌入表示，/>是项目节点/>关于元路径/>的嵌入表示，/>是项目节点/>关于元路径/>的嵌入表示；/>表示从项目节点/>到项目节点/>的聚合信息，/>表示用户-项目交互邻接矩阵，/>为t-1刻会话的节点表示，/>表示连接操作；
步骤2.3还满足以下条件式：
；
；
其中，是门循环控制单元的更新门，/>为门循环控制单元的重置门，/>是sigmoid激活函数，/>表示按位相乘操作，/>是非线性激活函数，/>表示经过/>控制边界后得到的兴趣隐藏状态，/>、/>、/>、/>、/>、/>为门循环控制单元中所有用户的共享参数；表示经过t个时间步后，得到的第/>个兴趣隐藏状态；/>表示经过t个时间步后，得到的第1个兴趣隐藏状态；/>表示经过t个时间步后，得到的第2个兴趣隐藏状态；/>表示经过t个时间步后，得到的第y个兴趣隐藏状态；/>表示长期兴趣；
得到长期兴趣后，对所有的会话截取掉长期兴趣/>，即得到短期兴趣/>；
步骤3.1满足以下条件式：
；
；
其中，表示注意力；/>、/>、/>分别表示transformer-xl机制中的查询、键、值；T表示转置操作，/>表示键值比例因子，/>为多头注意力函数；/>表示最近兴趣片段；/>、/>、/>表示共享矩阵，/>表示transformer-xl编码解码时间步，/>表示时间步/>时的用户长期兴趣，/>表示时间步/>时的用户长期兴趣隐藏状态，表示时间步/>时更新的用户长期兴趣；/>、/>、/>表示时间步/>时的Q、K、V的值；/>表示在时间步/>整合的用户整体偏好；
步骤3.2满足以下条件式：
；
；
；
其中，为长期兴趣影响短期兴趣的权重，/>为注意力函数；/>表示经过t个时间步后，得到的第xb个兴趣隐藏状态；/>表示经过t个时间步后，得到的第ib个兴趣隐藏状态；/>表示指数；/>表示用户部分最新动态偏好；/>表示用户最新动态偏好，/>表示线性变换矩阵；
步骤3.3满足以下条件式：
；
；
其中，表示预测项目分值，/>表示转置操作，/>表示损失函数；/>、/>分别表示真实值和预测值，/>为正则项，/>为正则项/>的权重。
2.一种基于用户意图融合的动态兴趣转移型会话推荐系统，其特征在于，应用如上述权利要求1所述的基于用户意图融合的动态兴趣转移型会话推荐方法，所述系统包括：
信息获取模块，用于：
在已有的用户-项目交互基础上，通过结合邻居路由机制与嵌入传播机制的异构图神经网络获取异构化用户意图表示与项目分块表示；
交互划分模块，用于：
将异构化用户意图表示作为权重并结合时间渐进性与多标签语义性对用户-项目交互进行划分，得到包含长期兴趣和短期兴趣的会话；
项目推荐模块，用于基于获取的异构化用户意图表示与项目分块表示和得到的包含长期兴趣和短期兴趣的会话，利用transformer-xl得到用户最新动态偏好，基于该用户最新动态偏好对用户进行项目推荐。
CN202310875198.7A 2023-07-17 2023-07-17 基于用户意图融合的动态兴趣转移型会话推荐方法与系统 Active CN116595157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310875198.7A CN116595157B (zh) 2023-07-17 2023-07-17 基于用户意图融合的动态兴趣转移型会话推荐方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310875198.7A CN116595157B (zh) 2023-07-17 2023-07-17 基于用户意图融合的动态兴趣转移型会话推荐方法与系统

Publications (2)

Publication Number Publication Date
CN116595157A CN116595157A (zh) 2023-08-15
CN116595157B true CN116595157B (zh) 2023-09-19

Family

ID=87604889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310875198.7A Active CN116595157B (zh) 2023-07-17 2023-07-17 基于用户意图融合的动态兴趣转移型会话推荐方法与系统

Country Status (1)

Country Link
CN (1) CN116595157B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116932923B (zh) * 2023-09-19 2023-12-08 江西财经大学 一种结合行为特征与三角协作度量的项目推荐方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598130A (zh) * 2019-09-30 2019-12-20 重庆邮电大学 一种融合异构信息网络和深度学习的电影推荐方法
CN111241311A (zh) * 2020-01-09 2020-06-05 腾讯科技（深圳）有限公司 媒体信息推荐方法、装置、电子设备及存储介质
CN111915395A (zh) * 2020-07-07 2020-11-10 云境商务智能研究院南京有限公司 一种基于多视图注意力机制的旅游包推荐方法
CN111932336A (zh) * 2020-07-17 2020-11-13 重庆邮电大学 一种基于长短期兴趣偏好的商品列表推荐方法
WO2021114590A1 (zh) * 2019-12-09 2021-06-17 北京百度网讯科技有限公司 会话推荐方法、装置以及电子设备
WO2021179838A1 (zh) * 2020-03-10 2021-09-16 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统
CN113868537A (zh) * 2021-10-19 2021-12-31 山东省人工智能研究院 一种基于多行为会话图融合的推荐方法
CN114219581A (zh) * 2021-12-31 2022-03-22 杭州电子科技大学 一种基于异构图的个性化兴趣点推荐方法及系统
CN114428912A (zh) * 2022-02-25 2022-05-03 中国计量大学 一种基于捕捉用户长短期兴趣异构超图的会话推荐方法
CN114969547A (zh) * 2022-06-24 2022-08-30 杭州电子科技大学 一种基于多视角增强图注意神经网络的音乐推荐方法
CN115168728A (zh) * 2022-07-21 2022-10-11 清华大学深圳国际研究生院 一种基于动态注意力机制的会话推荐方法
CN115658864A (zh) * 2022-10-24 2023-01-31 重庆师范大学 一种基于图神经网络和兴趣注意力网络的会话推荐方法
CN115705383A (zh) * 2021-08-13 2023-02-17 上海鼎算智能科技有限公司 基于图卷神经网络时序特征提取的序列推荐算法、系统、终端及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222700B (zh) * 2021-05-17 2023-04-18 中国人民解放军国防科技大学 基于会话的推荐方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598130A (zh) * 2019-09-30 2019-12-20 重庆邮电大学 一种融合异构信息网络和深度学习的电影推荐方法
WO2021114590A1 (zh) * 2019-12-09 2021-06-17 北京百度网讯科技有限公司 会话推荐方法、装置以及电子设备
CN111241311A (zh) * 2020-01-09 2020-06-05 腾讯科技（深圳）有限公司 媒体信息推荐方法、装置、电子设备及存储介质
WO2021179838A1 (zh) * 2020-03-10 2021-09-16 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统
CN111915395A (zh) * 2020-07-07 2020-11-10 云境商务智能研究院南京有限公司 一种基于多视图注意力机制的旅游包推荐方法
CN111932336A (zh) * 2020-07-17 2020-11-13 重庆邮电大学 一种基于长短期兴趣偏好的商品列表推荐方法
CN115705383A (zh) * 2021-08-13 2023-02-17 上海鼎算智能科技有限公司 基于图卷神经网络时序特征提取的序列推荐算法、系统、终端及介质
CN113868537A (zh) * 2021-10-19 2021-12-31 山东省人工智能研究院 一种基于多行为会话图融合的推荐方法
CN114219581A (zh) * 2021-12-31 2022-03-22 杭州电子科技大学 一种基于异构图的个性化兴趣点推荐方法及系统
CN114428912A (zh) * 2022-02-25 2022-05-03 中国计量大学 一种基于捕捉用户长短期兴趣异构超图的会话推荐方法
CN114969547A (zh) * 2022-06-24 2022-08-30 杭州电子科技大学 一种基于多视角增强图注意神经网络的音乐推荐方法
CN115168728A (zh) * 2022-07-21 2022-10-11 清华大学深圳国际研究生院 一种基于动态注意力机制的会话推荐方法
CN115658864A (zh) * 2022-10-24 2023-01-31 重庆师范大学 一种基于图神经网络和兴趣注意力网络的会话推荐方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Tu Minh Phuong ; Tran Cong Thanh ; Ngo Xuan Bach.Neural Session-Aware Recommendation.IEEE Access.2019,第2169-3536页. *
吴田慧 ; 孙福振 ; 张文龙 ; 董家玮 ; 王绍卿.基于层次意图解耦的图卷积神经网络推荐模型.计算机应用研究.2023,第1341-1345+1351页. *
基于图神经网络和时间注意力的会话序列推荐;孙鑫;刘学军;李斌;梁珂;;计算机工程与设计(10);第220-227页 *

Also Published As

Publication number Publication date
CN116595157A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
Islam et al. Deepdiffuse: Predicting the'who'and'when'in cascades
Yang et al. Full-scale information diffusion prediction with reinforced recurrent networks
Tang et al. Graphgpt: Graph instruction tuning for large language models
US20200090056A1 (en) Systems and methods for real time configurable recommendation using user data
Simma Modeling events in time using cascades of Poisson processes
CN116595157B (zh) 基于用户意图融合的动态兴趣转移型会话推荐方法与系统
Wang et al. A multitask learning-based network traffic prediction approach for SDN-enabled industrial Internet of Things
Makarov et al. Temporal network embedding framework with causal anonymous walks representations
Yu et al. Graph neural network based model for multi-behavior session-based recommendation
Yang et al. Recommender system-based diffusion inferring for open social networks
CN109635186A (zh) 一种基于Lambda架构的实时推荐方法
Hosseini et al. Hnp3: A hierarchical nonparametric point process for modeling content diffusion over social media
Jackson et al. A Bayesian framework for supporting predictive analytics over big transportation data
Zhang et al. Recurrent convolutional neural network for session-based recommendation
CA3010769A1 (en) Method and virtual data agent system for providing data insights with artificial intelligence
Grob et al. A recurrent neural network survival model: Predicting web user return time
CN116340524A (zh) 一种基于关系自适应网络的小样本时态知识图谱补全方法
Zhang et al. Dynamic representation learning via recurrent graph neural networks
Sang et al. Position-aware graph neural network for session-based recommendation
Barbieri et al. Survival factorization on diffusion networks
CN115048530A (zh) 融合邻居重要度和特征学习的图卷积推荐系统
Cao et al. Remaining time prediction for business processes with concurrency based on log representation
Yi et al. Mining the key predictors for event outbreaks in social networks
WO2019123478A1 (en) A system for extracting and analyzing data and a method thereof
Ma et al. Time Highlighted Multi-Interest Network for Sequential Recommendation.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant