CN113961816B - 一种基于结构增强的图卷积神经网络会话推荐方法 - Google Patents

一种基于结构增强的图卷积神经网络会话推荐方法 Download PDF

Info

Publication number
CN113961816B
CN113961816B CN202111423525.2A CN202111423525A CN113961816B CN 113961816 B CN113961816 B CN 113961816B CN 202111423525 A CN202111423525 A CN 202111423525A CN 113961816 B CN113961816 B CN 113961816B
Authority
CN
China
Prior art keywords
representation
session
global
embedded
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111423525.2A
Other languages
English (en)
Other versions
CN113961816A (zh
Inventor
朱小飞
唐顾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202111423525.2A priority Critical patent/CN113961816B/zh
Publication of CN113961816A publication Critical patent/CN113961816A/zh
Application granted granted Critical
Publication of CN113961816B publication Critical patent/CN113961816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及会话推荐技术领域，具体涉及一种基于结构增强的图卷积神经网络会话推荐方法，首先获取目标会话文本的会话表示；然后基于会话表示生成对应的会话图，进而通过会话图识别目标会话文本中的噪声项目；再结合注意力机制重置噪声项目的注意力权重，以消除噪声项目的影响；最后计算最终预测概率分布，并基于最终预测概率分布进行项目推荐。本发明中基于结构增强的图卷积神经网络会话推荐方法能够识别噪声项目并解决噪声项目影响，从而能够提升会话项目推荐的准确性。

Description

一种基于结构增强的图卷积神经网络会话推荐方法
技术领域
本发明涉及互联网大数据技术领域，具体涉及一种基于结构增强的图卷积神经网络会话推荐方法。
背景技术
基于会话的推荐是一种针对匿名用户或未登录用户的一种推荐模式，其在如今的各大电商平台(淘宝、京东等)或流媒体平台(抖音，YouTobe等)发挥着重要作用。在实际场景中，某些时候只能获取到用户的短期历史交互，比如：新用户或未登录用户。此时，依赖于用户长期历史交互的推荐算法在会话推荐中的表现会收到限制，例如基于协同过滤或马尔可夫链的方法。因此，基于会话的推荐成为一个研究热点，其目标是根据用户在会话中的行为序列来推荐用户感兴趣的下一个项目(或商品)。
针对现有会话推荐方法的项目推荐准确性不高的问题，公开号为CN112035746A的中国专利公开了《一种基于时空序列图卷积网络的会话推荐方法》，其包括：将所有会话序列建模为有向会话图；以会话中共有的商品为链接，构建全局图；将ARMA过滤器嵌入到门控图神经网络中，提取图模型中随时间变化的拓扑图信号，并得到会话图中涉及的各个节点的特征向量；采用注意力机制从用户历史会话中得到全局偏好信息；从用户点击的最后一个会话中获取用户的局部偏好信息，并结合全局偏好信息得到用户最终偏好信息；预测每个会话中下一点击商品可能出现的概率，并给出Top-K推荐商品。
上述现有方案中的会话推荐方法从全局图中捕获丰富的会话表示(上下文关系)，通过注意力机制学习用户的全局和局部偏好，进而提供准确的商品预测。但是，现有GNN(图卷积网络)中的图结构是由静态方式构造的，一旦用户的偏好发生转移，就很容易为图结构带来噪声项目(信息)，导致图结构不准确，同时，项目转换关系中通常包含由用户意外或错误点击引起的噪声项目。然而，传统的注意力机制会为会话文本中的每一个项目分配注意力权重(重要性系数)，即噪声项目也会分配到相应的注意力权重，这容易将噪声信息引入到会话表示中，导致模型学习不准确的用户偏好表示，进而导致推荐准确性偏低。因此，如何设计一种能够解决噪声影响的会话推荐方法是亟需解决的技术问题。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够识别噪声项目并解决噪声项目影响的会话推荐方法，从而提升会话项目推荐的准确性。
为了解决上述技术问题，本发明采用了如下的技术方案：
一种基于结构增强的图卷积神经网络会话推荐方法：首先获取目标会话文本的会话表示；然后基于会话表示生成对应的会话图，进而通过会话图识别目标会话文本中的噪声项目；再结合注意力机制重置噪声项目的注意力权重，以消除噪声项目的影响；最后计算最终预测概率分布，并基于最终预测概率分布进行项目推荐。
优选的，具体包括以下步骤：
S1：获取目标会话文本；
S2：将目标会话文本输入经过预先训练的会话推荐模型中；
所述会话推荐模型首先通过融合嵌入模块从三个角度分别提取目标会话文本的局部嵌入表示、全局嵌入表示和共识嵌入表示；再通过重复预测模块计算对应的重复预测概率；然后通过探索预测模块识别目标会话文本中的噪声项目、消除噪声项目的影响，并计算对应的探索预测概率；最后通过判断模块基于重复预测概率和探索预测概率计算对应的最终预测概率分布；
S3：基于会话推荐模型输出的最终预测概率分布进行项目推荐。
优选的，所述融合嵌入模块包括用于基于目标会话文本生成全局表示的动态全局邻居注意力网络，以及用于基于目标会话文本的局部表示和全局表示融合生成对应的局部嵌入表示、全局嵌入表示和共识嵌入表示的多通道图卷积神经网络。
优选的，所述动态全局邻居注意力网络通过如下步骤生成全局表示：
S201：对目标会话文本
Figure BDA0003378247770000021
进行编码，得到对应的局部表示
Figure BDA0003378247770000022
S202：从候选项目集合V＝{v1,v1,…,v|V|}中提取K个候选项目vj∈V作为目标项目
Figure BDA0003378247770000023
的全局邻居
Figure BDA0003378247770000024
S203：基于全局邻居
Figure BDA0003378247770000025
生成对应的全局邻居嵌入表示
Figure BDA0003378247770000026
S204：通过注意力池化机制聚合目标项目
Figure BDA0003378247770000027
的全局邻居嵌入表示
Figure BDA0003378247770000028
得到目标项目
Figure BDA0003378247770000029
的全局表示
Figure BDA00033782477700000210
其中，
Figure BDA00033782477700000211
S205：计算各个目标项目
Figure BDA00033782477700000212
的会话全局表示
Figure BDA00033782477700000213
，并生成目标会话文本S的全局表示
Figure BDA00033782477700000214
上述式中：
Figure BDA00033782477700000215
表示可训练参数；[；]表示拼接操作。
优选的，所述多通道图卷积神经网络通过如下步骤生成局部嵌入表示、全局嵌入表示和共识嵌入表示：
S211：基于局部表示
Figure BDA0003378247770000031
构造对应的局部图AL,(l-1)，并通过局部图AL ,(l-1)计算对应的局部嵌入表示
Figure BDA0003378247770000032
其中，
Figure BDA0003378247770000033
S212：基于全局表示
Figure BDA0003378247770000034
构造对应的全局图AG,(l-1)，并通过全局图AG ,(l-1)计算对应的全局嵌入表示
Figure BDA0003378247770000035
其中，
Figure BDA0003378247770000036
S213：基于局部图AL,(l-1)和全局图AG,(l-1)融合生成对应的共识图AM,(l-1)；
其中，
Figure BDA0003378247770000037
S214：通过共识图AM,(l-1)计算对应的共识嵌入表示
Figure BDA0003378247770000038
其中，
Figure BDA0003378247770000039
上述式中：HWGCN表示多通道图卷积神经网络；l表示多通道图卷积神经网络的层数；
Figure BDA00033782477700000310
表示第l-1层HWGCN输出的局部嵌入表示；
Figure BDA00033782477700000311
表示第l-1层HWGCN输出的全局嵌入表示；
Figure BDA00033782477700000312
表示第l-1层HWGCN输出的共识嵌入表示；σ表示Sigmoid函数；
Figure BDA00033782477700000313
表示可训练参数。
优选的，所述会话推荐模型还包括图增强的位置编码器；
所述位置编码器通过共识图AM,(l-1)计算对应的位置嵌入表示
Figure BDA00033782477700000314
其中，
Figure BDA00033782477700000315
位置编码器的结构表示为：
Figure BDA00033782477700000316
Figure BDA00033782477700000317
上述式中：
Figure BDA00033782477700000318
表示目标会话文本S中第i个位置的位置嵌入；Slen表示目标会话文本S的会话长度；
Figure BDA00033782477700000319
表示会话长度Slen的嵌入表示。
优选的，重复预测模块通过如下步骤计算重复预测概率：
S221：基于局部嵌入表示
Figure BDA0003378247770000041
、全局嵌入表示
Figure BDA0003378247770000042
、共识嵌入表示
Figure BDA0003378247770000043
和位置嵌入表示
Figure BDA0003378247770000044
计算对应的新会话表示
Figure BDA0003378247770000045
其中，
Figure BDA0003378247770000046
S222：基于新会话表示Xs结合如下公式计算重复预测概率
Figure BDA0003378247770000047
Figure BDA0003378247770000048
其中，
Figure BDA0003378247770000049
上述式中：
Figure BDA00033782477700000410
表示可训练参数；
Figure BDA00033782477700000411
表示聚合了会话中第j个项目
Figure BDA00033782477700000412
的局部表示、全局表示、共识表示以及其位置嵌入后的综合表示。
优选的，探索预测模块包括用于消除噪声项目影响的图增强注意力网络；图增强注意力网络通过如下步骤消除噪声项目的影响：
S231：基于局部嵌入表示
Figure BDA00033782477700000413
建立对应的错误点击集合
Figure BDA00033782477700000414
，通过错误点击集合
Figure BDA00033782477700000415
结合位置嵌入表示
Figure BDA00033782477700000416
计算对应的长期偏好
Figure BDA00033782477700000417
，结合长期偏好
Figure BDA00033782477700000418
和局部嵌入表示
Figure BDA00033782477700000419
中的当前偏好
Figure BDA00033782477700000420
计算对应的会话局部表示
Figure BDA00033782477700000421
其中，
Figure BDA00033782477700000422
S232：基于全局嵌入表示
Figure BDA00033782477700000423
建立对应的错误点击集合
Figure BDA00033782477700000424
，通过错误点击集合
Figure BDA00033782477700000425
结合位置嵌入表示
Figure BDA00033782477700000426
计算对应的长期偏好
Figure BDA00033782477700000427
，结合长期偏好
Figure BDA00033782477700000428
和全局嵌入表示
Figure BDA00033782477700000429
中的当前偏好
Figure BDA00033782477700000430
计算对应的会话全局表示
Figure BDA00033782477700000431
S233：基于共识嵌入表示
Figure BDA00033782477700000432
建立对应的错误点击集合
Figure BDA00033782477700000433
，通过错误点击集合
Figure BDA00033782477700000434
结合位置嵌入表示
Figure BDA00033782477700000435
计算对应的长期偏好
Figure BDA00033782477700000436
结合长期偏好
Figure BDA00033782477700000437
和共识嵌入表示
Figure BDA00033782477700000438
中的当前偏好
Figure BDA00033782477700000439
计算对应的会话共识表示
Figure BDA00033782477700000440
S234：结合会话局部表示
Figure BDA00033782477700000441
会话全局表示
Figure BDA00033782477700000442
和会话共识表示
Figure BDA00033782477700000443
计算对应的会话结构表示
Figure BDA00033782477700000444
其中，
Figure BDA0003378247770000051
上述式中：
Figure BDA0003378247770000052
表示可训练参数。
优选的，探索预测模块通过如下步骤计算探索预测概率：
S241：通过Bi-GRU模块结合局部嵌入表示
Figure BDA0003378247770000053
、全局嵌入表示
Figure BDA0003378247770000054
和共识嵌入表示
Figure BDA0003378247770000055
计算对应的会话顺序表示
Figure BDA0003378247770000056
其中，
Figure BDA0003378247770000057
Figure BDA0003378247770000058
Figure BDA0003378247770000059
Figure BDA00033782477700000510
Figure BDA00033782477700000521
S242：基于会话结构表示
Figure BDA00033782477700000511
和会话顺序表示
Figure BDA00033782477700000512
计算对应的探索预测概率
Figure BDA00033782477700000513
Figure BDA00033782477700000514
其中，
Figure BDA00033782477700000515
上述式中：
Figure BDA00033782477700000516
φgru表示可训练参数；LayerNorm表示归一化；
Figure BDA00033782477700000517
表示候选项目集合V中第i个项目的嵌入表示。
优选的，判断模块通过如下公式计算最终预测概率；
Figure BDA00033782477700000518
其中，
Figure BDA00033782477700000519
上述式中：
Figure BDA00033782477700000520
表示可训练参数；or和se分别表示重复预测模块和探索预测模块的会话表示；δ表示超参数。
本发明中的会话推荐方法与现有技术相比，具有如下有益效果：
在本发明中，通过会话图的结构能够准确识别会话文本中的噪声项目，进而通过调整注意机制及其注意力权重的方式消除噪声项目的影响，使得能够得到会话文本中的长期结构表示，避免模型学习不准确的用户偏好表示，从而能够提升会话项目推荐的准确性。同时，本发明利用项目相似性(而不是项目转换模式)能够捕获项目之间的高质量关系，使得能够减少由用户意外或错误点击造成的噪音信息。此外，本发明从三个角度分别获取了局部嵌入表示、全局嵌入表示和共识嵌入表示，使得能够增强会话文本的表示性，从而能够更好的提升会话项目推荐的全面性。最后，本发明中通过“重复和探索”的机制能够很好的计算得到符合用户偏好的概率分布，即能够更精确的进行项目分布概率的预测，从而能够提升会话项目推荐预测的准确性。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为图卷积神经网络会话推荐方法的逻辑框图；
图2为会话推荐模型的网络结构图；其中，(A)表示重复预测模块和探索预测模块，(B)表示动态全局邻居注意力网络，(C)表示多通道图卷积神经网络，(D)表示图增强的位置编码器；
图3为DGS-MGNN、DGS-MGNN w/o GPE和DGS-MGNN-POS的性能示意图；
图4为DGS-MGNN、DGS-MCGNN-STR和DGS-MCGNN-SEQ的性能示意图；
图5为不同全局邻居数量时DGS-MGNN的性能示意图；
图6为DGS-MGNN、DSAN和GCE-GNN的性能示意图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例：
本实施例中公开了一种基于结构增强的图卷积神经网络会话推荐方法。
基于结构增强的图卷积神经网络会话推荐方法：首先获取目标会话文本的会话表示；然后基于会话表示生成对应的会话图，进而通过会话图识别目标会话文本中的噪声项目；再结合注意力机制重置噪声项目的注意力权重，以消除噪声项目的影响；最后计算最终预测概率分布，并基于最终预测概率分布进行项目推荐。具体的，将噪声项目的注意力权重设置为0。
结合图1所示，具体包括以下步骤：
S1：获取目标会话文本；
S2：将目标会话文本输入经过预先训练的会话推荐模型中；
结合图2所示，会话推荐模型首先通过融合嵌入模块从三个角度分别提取目标会话文本的局部嵌入表示、全局嵌入表示和共识嵌入表示；再通过重复预测模块计算对应的重复预测概率；然后通过探索预测模块识别目标会话文本中的噪声项目、消除噪声项目的影响，并计算对应的探索预测概率；最后通过判断模块基于重复预测概率和探索预测概率计算对应的最终预测概率分布；
S3：基于会话推荐模型输出的最终预测概率分布进行项目推荐。
在本发明中，通过会话图的结构能够准确识别会话文本中的噪声项目，进而通过调整注意机制及其注意力权重的方式消除噪声项目的影响，使得能够得到会话文本中的长期结构表示，避免模型学习不准确的用户偏好表示，从而能够提升会话项目推荐的准确性。同时，本发明利用项目相似性(而不是项目转换模式)能够捕获项目之间的高质量关系，使得能够减少由用户意外或错误点击造成的噪音信息。此外，本发明从三个角度分别获取了局部嵌入表示、全局嵌入表示和共识嵌入表示，使得能够增强会话文本的表示性，从而能够更好的提升会话项目推荐的全面性。最后，本发明中通过“重复和探索”的机制能够很好的计算得到符合用户偏好的概率分布，即能够更精确的进行项目分布概率的预测，从而能够提升会话项目推荐预测的准确性。
具体实施过程中，融合嵌入模块包括用于基于目标会话文本生成全局表示的动态全局邻居注意力网络(Dynamic Global Attention,DGNA)，以及用于基于目标会话文本的局部表示和全局表示融合生成对应的局部嵌入表示、全局嵌入表示和共识嵌入表示的多通道图卷积神经网络(Multi-Channel Graph Neural Network,MC-GNN)。
具体的，动态全局邻居注意力网络通过如下步骤生成全局表示：
S201：对目标会话文本
Figure BDA0003378247770000071
进行编码，得到对应的局部表示
Figure BDA0003378247770000072
S202：从候选项目集合V＝{v1,v1,…,v|V|}中提取K个候选项目vj∈V作为目标项目
Figure BDA0003378247770000073
的全局邻居
Figure BDA0003378247770000074
；选取全局邻居时，计算目标项目
Figure BDA0003378247770000075
与各个候选项目vj的余弦相似度，然后选取余弦相似度最高的K个候选项目vj来作为全局邻居；
其中，
Figure BDA0003378247770000076
ri,j表示目标项目
Figure BDA0003378247770000077
与候选项目vj间的余弦相似度。
S203：基于全局邻居
Figure BDA0003378247770000078
生成对应的全局邻居嵌入表示
Figure BDA0003378247770000079
S204：通过注意力池化机制聚合目标项目
Figure BDA00033782477700000710
的全局邻居嵌入表示
Figure BDA00033782477700000711
得到目标项目
Figure BDA00033782477700000712
的全局表示
Figure BDA00033782477700000713
其中，
Figure BDA00033782477700000714
S205：计算各个目标项目
Figure BDA0003378247770000081
的会话全局表示
Figure BDA0003378247770000082
，并生成目标会话文本S的全局表示
Figure BDA0003378247770000083
上述式中：
Figure BDA0003378247770000084
表示可训练参数；[；]表示拼接操作。
多通道图卷积神经网络通过如下步骤生成局部嵌入表示、全局嵌入表示和共识嵌入表示：
S211：基于局部表示
Figure BDA0003378247770000085
构造对应的局部图AL,(l-1)，并通过局部图AL ,(l-1)计算对应的局部嵌入表示
Figure BDA0003378247770000086
其中，
Figure BDA0003378247770000087
S212：基于全局表示
Figure BDA0003378247770000088
构造对应的全局图AG,(l-1)，并通过全局图AG ,(l-1)计算对应的全局嵌入表示
Figure BDA0003378247770000089
其中，
Figure BDA00033782477700000810
S213：基于局部图AL,(l-1)和全局图AG,(l-1)融合生成对应的共识图AM,(l-1)；
其中，
Figure BDA00033782477700000811
S214：通过共识图AM,(l-1)计算对应的共识嵌入表示
Figure BDA00033782477700000812
其中，
Figure BDA00033782477700000813
上述式中：HWGCN表示多通道图卷积神经网络；l表示多通道图卷积神经网络的层数；
Figure BDA00033782477700000814
表示第l-1层HWGCN输出的局部嵌入表示；
Figure BDA00033782477700000815
表示第l-1层HWGCN输出的全局嵌入表示；
Figure BDA00033782477700000816
表示第l-1层HWGCN输出的共识嵌入表示；σ表示Sigmoid函数；
Figure BDA00033782477700000817
表示可训练参数。具体的，通过高速公路网络(highway network)来缓解堆叠图卷积神经网络带来过度平滑的问题，将第l层的图传播过程定义如下：
Figure BDA00033782477700000818
Figure BDA00033782477700000819
Figure BDA00033782477700000820
式中：
Figure BDA00033782477700000821
表示AL,(l-1)的第i行；
Figure BDA00033782477700000822
表示可训练参数。
BSG表示构建相似度图的过程(Build Similar Graph),以局部表示
Figure BDA00033782477700000823
为例，构建其对应相似度图的过程定义如下：
Figure BDA0003378247770000091
Figure BDA0003378247770000092
其中
Figure BDA0003378247770000093
中每个项目表示hi s表示图中的一个节点，ei,j表示节点
Figure BDA0003378247770000094
和节点
Figure BDA0003378247770000095
的连接强度。同时对图中的噪音边进行了过滤操作(即：τi,j≤0则将节点
Figure BDA0003378247770000096
和节点
Figure BDA0003378247770000097
之间的连接强度置为0)。
在本发明中，基于局部表示和全局表示构造了对应的局部图和全局图，进而基于局部图和全局图融合生成了共识图，即能够以动态的方式构造会话图，使得能够通过共识图维护局部图和全局图间的一致性。同时，本发明从三个角度分别获取了局部嵌入表示、全局嵌入表示和共识嵌入表示，使得能够增强会话文本的表示性，从而能够更好的提升会话项目推荐的全面性。
具体实施过程中，会话推荐模型还包括图增强的位置编码器(Graph PositionEncoder,GPE)；
位置编码器通过共识图AM,(l-1)计算对应的位置嵌入表示
Figure BDA0003378247770000098
其中，
Figure BDA0003378247770000099
位置编码器的结构表示为：
Figure BDA00033782477700000910
Figure BDA00033782477700000911
上述式中：
Figure BDA00033782477700000912
表示目标会话文本S中第i个位置的位置嵌入；Slen表示目标会话文本S的会话长度；
Figure BDA00033782477700000913
表示会话长度Slen的嵌入表示。Emebedlen表示一种针对会话长度的向量嵌入操作。例如会话长度为Slen＝6的会话将其长度6映射到一个向量
Figure BDA00033782477700000914
该向量是可训练参数。
传统建模位置信息的方法通常采用绝对位置编码的方式，其难以很好的适应会话推荐任务。例如：会话S1＝(苹果手机，耳机，短袖、短裙、毛衣)，会话S2＝(小米手机，耳机)。会话S1和会话S2的第二个项目都是耳机，然而S2中的耳机更能体现用户的当前偏好，这是由于耳机分别位于S2的最后一个位置和S1的倒数第四个位置，而现有绝对位置编码会忽略掉这种会话的个性化位置信息。
为此，本发明通过整合会话长度信息以及捕获会话固有的拓扑位置结构来增强会话中每个项目的位置嵌入，使得模型能够更好的关注到会话的个性化位置信息，从而能够辅助提升会话项目的推荐准确性和全面性。
具体实施过程中，重复预测模块通过如下步骤计算重复预测概率：
S221：基于局部嵌入表示
Figure BDA0003378247770000101
、全局嵌入表示
Figure BDA0003378247770000102
、共识嵌入表示
Figure BDA0003378247770000103
和位置嵌入表示
Figure BDA0003378247770000104
计算对应的新会话表示
Figure BDA0003378247770000105
其中，
Figure BDA0003378247770000106
S222：基于新会话表示Xs结合如下公式计算重复预测概率
Figure BDA0003378247770000107
Figure BDA0003378247770000108
其中，
Figure BDA0003378247770000109
上述式中：
Figure BDA00033782477700001010
表示可训练参数；
Figure BDA00033782477700001011
表示聚合了会话中第j个项目
Figure BDA00033782477700001012
的局部表示、全局表示、共识表示以及其位置嵌入后的综合表示。
在本发明中，通过重复预测模块能够基于局部嵌入表示、全局嵌入表示、共识嵌入表示和位置嵌入表示计算当前会话中出现过的项目的概率分布，即重复预测概率，这能够很好的辅助计算最终预测概率分布。
具体实施过程中，探索预测模块包括用于消除噪声项目影响的图增强注意力网络(Graph-Enhanced Attention Network,GEA)；图增强注意力网络通过如下步骤消除噪声项目的影响：
S231：基于局部嵌入表示
Figure BDA00033782477700001013
建立对应的错误点击集合
Figure BDA00033782477700001014
，通过错误点击集合
Figure BDA00033782477700001015
结合位置嵌入表示
Figure BDA00033782477700001016
计算对应的长期偏好
Figure BDA00033782477700001017
，结合长期偏好
Figure BDA00033782477700001018
和局部嵌入表示
Figure BDA00033782477700001019
中的当前偏好
Figure BDA00033782477700001020
计算对应的会话局部表示
Figure BDA00033782477700001021
其中，
Figure BDA0003378247770000111
S232：基于全局嵌入表示
Figure BDA0003378247770000112
建立对应的错误点击集合
Figure BDA0003378247770000113
，通过错误点击集合
Figure BDA0003378247770000114
结合位置嵌入表示
Figure BDA0003378247770000115
计算对应的长期偏好
Figure BDA0003378247770000116
，结合长期偏好
Figure BDA0003378247770000117
和全局嵌入表示
Figure BDA0003378247770000118
中的当前偏好
Figure BDA0003378247770000119
计算对应的会话全局表示
Figure BDA00033782477700001110
S233：基于共识嵌入表示
Figure BDA00033782477700001111
建立对应的错误点击集合
Figure BDA00033782477700001112
，通过错误点击集合
Figure BDA00033782477700001113
结合位置嵌入表示
Figure BDA00033782477700001114
计算对应的长期偏好
Figure BDA00033782477700001115
，结合长期偏好
Figure BDA00033782477700001116
和共识嵌入表示
Figure BDA00033782477700001117
中的当前偏好
Figure BDA00033782477700001118
计算对应的会话共识表示
Figure BDA00033782477700001119
S234：结合会话局部表示
Figure BDA00033782477700001120
、会话全局表示
Figure BDA00033782477700001121
和会话共识表示
Figure BDA00033782477700001122
计算对应的会话结构表示
Figure BDA00033782477700001123
其中，
Figure BDA00033782477700001124
上述式中：
Figure BDA00033782477700001125
表示可训练参数。
探索预测模块通过如下步骤计算探索预测概率：
S241：通过Bi-GRU模块结合局部嵌入表示
Figure BDA00033782477700001126
、全局嵌入表示
Figure BDA00033782477700001127
和共识嵌入表示
Figure BDA00033782477700001128
计算对应的会话顺序表示
Figure BDA00033782477700001129
其中，
Figure BDA00033782477700001130
Figure BDA00033782477700001131
Figure BDA00033782477700001132
Figure BDA00033782477700001133
Figure BDA00033782477700001134
S242：基于会话结构表示
Figure BDA00033782477700001135
和会话顺序表示
Figure BDA00033782477700001136
计算对应的探索预测概率
Figure BDA00033782477700001137
Figure BDA00033782477700001138
其中，
Figure BDA00033782477700001139
上述式中：
Figure BDA0003378247770000121
φgru表示可训练参数；LayerNorm表示归一化；
Figure BDA0003378247770000122
表示候选项目集合V中第i个项目的嵌入表示。forward表示GRU的前向计算，backward表示GRU的反向计算。
在本发明中，通过探索预测模块能够基于局部嵌入表示、全局嵌入表示、共识嵌入表示和位置嵌入表示分别计算得到会话结构表示和会话顺序表示，进而能够从会话结构和会话顺序两个方面去预测概率分布，这同样能够很好的辅助计算最终预测概率分布。
具体实施过程中，判断模块通过如下公式计算最终预测概率；
Figure BDA0003378247770000123
其中，
Figure BDA0003378247770000124
上述式中：
Figure BDA0003378247770000125
表示可训练参数；or和se分别表示重复预测模块和探索预测模块的会话表示；δ表示超参数。
为了更好的说明本发明中会话推荐方法的优势，本实施例中公开了如下实验。
一、数据集
本实验在三个广泛使用的基准数据集(Diginetica,Yoochoose,Retailrocket)上对DGS-MGNN和一系列基线模型的性能进行了测试。
Diginetica:来自于2016年CIKM Cup挑战赛。由于其包含商品交易类型的数据，所以经常被用于会话推荐任务。本实验提取其最后一周的数据作为测试数据。
Yoochoose:来自于2015年的ResSys挑战赛，其包含了6个月内电子商务网站的点击流数据。由于该数据量过大，提取按时间排序的最近的1/4和1/64的数据作为训练集，它们分别被命名未“Yoochoose1/4”和”Yoochoose1/64”，最后一周的数据作为测试集。
Retailrocket:来自于2016年的Kaggle竞赛，其包含了用户在电子商务网站上4.5个月的行为数据。本实验提取最近的1/4数据作为训练集，最后15天的数据作为测试集。
在三个数据集中，将会话长度小于2的会话和项目出现次数小于5的项目进行过滤。
二、基线模型
为了全面的检验DGS-MGNN(本发明提出的会话推荐模型)的性能，本实验将其与三种类型的基线模型进行了性能对比(传统推荐方法、基于循环设计网络和注意力机制的方法、基于图神经网络的方法)，详细的介绍如下：
1)传统推荐方法：
POP：这是推荐系统中常用的一种基线方法，它推荐训练集中出现频率最高的前N个项目。
Item-KNN：是一种基于协同过滤的方法，其通过向用户推荐与当前会话最相似的项目。
FPMC：将矩阵分解和马尔科夫链结合起来，其中序列数据由转移矩阵建模，所有转移矩阵都是用户特定的。它引入了一个因子分解模型，该模型给出了转换立方体的低秩近似值，其中每一个部分都是用户历史点击在马尔科夫链下的转移矩阵。
2)基于循环神经网络和注意力机制的方法：
GRU4REC：利用门控循环神经网络GRU模拟用户的顺序行为并采用并行小批次训练方案进行模型训练。
NARM：使用循环神经网络RNN来建模用户的顺序行为并结合注意力机制来捕获用户的主要偏好。同时，它结合双线性匹配机制为每个候选项目生成推荐概率。
STAMP：通过捕获用户的长期偏好和短期兴趣来缓解用户的偏好转移的问题。
CSRM：提出利用协作邻域信息进行基于会话的推荐。它利用内部编码器捕获当前会话的信息，同时它也利用外部编码器捕获邻域会话的协作信息。
DSAN：将双稀疏注意力网络应用于会话推荐任务。它首先探究了会话内每个项目的间的关系并结合自注意力网络目标项目表示，然后利用普通的注意力网络来捕获项目的重要性，最后利用神经网络将目标表示和会话表示结合起来从而得到最终的表示。
3)基于图神经网络的方法：
SR-GNN：通过将会话序列建模为会话图捕获项目在会话中复杂的转换关系。同时，它还结合门控图神经网络和自注意力机制来生成会话表示。
TAGNN：通过会话序列建模为会话图并通过图神经网络获取项目的嵌入表示，它还引入了目标感知模块，以揭示给定目标项目与所有候选项目的相关性，从而提升会话表示质量。
GCE-GNN：是目前性能最好的模型，它通过2个不同的视角学习项目的表示，例如：会话视角和全局视角。会话视角旨在通过会话内项目的转换关系学习项目的表示，全局视角旨在通过项目在所有会话中的转换关系学习项目的表示。
三、实验参数设置
本实验在DGS-MGNN的所有实验中，设置训练批次大小为256，项目嵌入的向量维度为256。全局邻居的数量K设置为10，HWGCN的层数为1。根据基线模型的原始论文设置其实验参数。在实验中的模型参数初始化按照均值为0，方差为0.1进行初始化。使用Adam优化器并配备0.001的学习率，该学习率会每训练3轮衰减为之前的0.1倍。δ设置为0.4，同时dropout也在模型中使用，其值设定为0.4。另一方面，利用L2正则化来避免过拟合，其值设定为1e-4。
四、评测指标
本实验使用2个广泛使用的评测指标P@20和MRR@20来评估所有模型的性能，P@K和MRR@K的值越高，代表模型性能越好。
P@K(Precision)：它衡量目标项目在top-K推荐中排名时的数量比例，是评估未排名结果的指标。
其中，
Figure BDA0003378247770000141
式中：N表示测试集数量；nhit表示目标项目在预测的top-K列表中的样本数量。
MRR@K(Mean Reciprocal Rank)：它是目标项在推荐列表中的倒数排名的平均值。此指标考虑正确推荐项目在排名列表中的位置。
其中，
Figure BDA0003378247770000142
式中：N表示测试集数量；ranki表示第i个目标项目在推荐列表中的位置。若目标项目未在top-K推荐列表中，则MRR@K为0。
五、整体实验
表1展示了DGS-MGNN和基线模型在三个基准数据集上的性能测试实验结果。
表1
Figure BDA0003378247770000143
从表1中可以看出，本发明提出的DGS-MGCN始终优于所有最先进的基线方法。具体来说，DGS-MGNN相比较最优基线GCE-GNN表现出了显著的改善(t检验，p≤0.01)并在Diginetica、Yoochoose和Retailrocket的MRR@20上高出了3.36％，6.07％和13.46％。同样的性能优势在P@20上也能得到体现。DGS-MGNN取得性能优势的主要原因是其可以动态的聚合全局信息。
本发明提出了一个MC-GNN(多通道图卷积神经网络)来学习项目不同视角的丰富的信息。此外，DGS-MGNN结合图曾庆的GPE(图增强的位置编码器)和GEA(图增强的注意力网络)来分别增强项目的位置嵌入和过滤会话中的噪音项目。
六、DGNA和MC-GNN的影响
为了验证动态全局邻居注意力网络(DGNA)和多通道图卷积神经网络(MC-GNN)的有效性，本实验设计了相关的变体模型：
DGS-MGNN w/o DGNA:从DGS-MGNN中将动态全局邻居注意力网络(DGNA)移除。
DGS-MGNN-MLP：将DGS-MGNN中的多通道图神经网络(MC-GNN)替换为多层感知机(MLP)。
DGS-MGNN-GGNN：将DGS-MGNN中的多通道图神经网络(MC-GNN)替换为SR-GNN中所使用的门控图神经网络(GGNN)，同时其图的构造方法于SR-GNN中一致。
DGS-MGNN-GAT：将DGS-MGNN中的多通道图神经网络(MC-GNN)替换为GCE-GNN中所使用的图注意力网络(GAT)，同时其图的构造方法于GCE-GNN中一致。
表2展示了所有变体模型的性能实验结果。
表2
Figure BDA0003378247770000151
从表2中可以看出，从DGS-MGNN中移除DGNA会使DGS-MGNN的性能出现明显的下降，这验证了DGNA的有效性。
从表2中可以看到配备有MC-GNN的DGS-MGNN的性能始终优于其他变体模型，例如将MC-GNN替换为MLP、GGNN与GAT，在所有三种变体中，我们可以观察到DGS-MGNN-GGNN与DGS-MGNN-MLP相比几乎没有改善，原因是DGS-MGNN-GGNN没有区分项目之间的连接强度。此外，它还受到用户意外或错误点击的影响，这可能会给用户表示带来噪声信息。DGS-MGNN-GAT在所有比较的变体中实现了最佳性能，因为它通过引入注意机制生成的权重作为项目之间的连接强度来缓解连接强度问题。然而，与DGS-MGNN-GGNN类似，DGS-MGNN-GAT仍然会遇到由用户意外或错误点击引起的噪声信息的影响。与DGS-MGNN-GAT不同，我们提出的带有MC-GNN的DGS-MGNN模型通过动态调整图的结构和项目之间的连接强度，可以有效地处理连接强度和噪声信息问题。
七、图增强的位置编码器的影响
本实验对图增强的位置编码器(GPE)的有效性进行了验证。位置编码已经广泛的应用在了会话推荐任务中，然而应用在SASRec和Star-GNN中的绝对位置嵌入在会话推荐任务中并没有达到理想的效果。为了验证图增强的位置编码器的有效性，我们设置了2个相关的变体模型：
DGS-MGNN w/o GPE：将DGS-MGNN中的图增强的位置编码器(GPE)移除。
DGS-MGNN-POS：将DGS-MGNN中的图增强的位置编码器(GPE)替换为应用在SASRec和Star-GNN中的绝对位置嵌入。
图3显示了各个对比模型的性能。实验结果揭示了配备了图增强的位置编码器(GPE)的DGS-MGNN的性能明显优于2个变体模型。更准确地说，带有图增强的位置编码器的模型(即本发明提出的DGS-MGNN和变体DGS-MGNN-POS)始终优于不考虑位置嵌入的变体模型(即DGS-MGNN w/o GPE)。此外，本发明提出的DGS-MGNN比采用传统图增强的位置编码器的DGS-MGNN-POS变体性能更好。图增强的位置编码器将会话长度信息引入到位置嵌入中以缓解上述问题。同时，图增强的位置编码器还能捕获会话固有的拓扑位置结构。
八、图增强的注意力网络的影响
为了验证探索图增强的注意力网络(GEA)对推荐性能的影响，我们设计了以下三种变体模型：
DGS-MGNN-S：用加合池化代替DGS-MGNN中的图增强的注意力网络(GEA)。
DGS-MGNN-M：用平均池化代替DGS-MGNN中的图增强的注意力网络(GEA)。
DGS-MGNN-SA：用普通注意力机制代替DGS-MGNN中的图增强的注意力网络(GEA)。
表3
Figure BDA0003378247770000161
如表3所示，基于加合池化的变体模型DGS-MGNN-S的性能最差。相反，基于平均池化的变体模型DGS-MGNN-M的性能优于DGS-MGNN-S。在所有三种变体中，基于自注意网络的变体模型DGS-MGNN-SA的性能最好，这表明了引入注意机制根据项目的重要性系数动态聚合信息的有效性。
与所有三种变体相比，我们提出的带有GEA的DGS-MGNN模型在所有数据集上都表现出最佳性能。这主要是因为在会话中，用户可能会有一些意外或错误的点击，传统的注意机制会为这些意外或错误的点击分配注意权重，从而给会话的表示带来噪音。相反，图增强的注意力网络(GEA)应用会话图的结构来识别用户在会话中的意外或错误点击，然后通过设置噪音项目的注意权重为0过滤掉噪声项目。
九、顺序信息和结构信息的影响
为了探索会话结构表示
Figure BDA0003378247770000171
和会话顺序表示
Figure BDA0003378247770000172
对DGS-MCGNN性能的影响，我们将我们的模型与下列变体模型相比较：
DGS-MCGNN-STR：DGS-MGNN的一种变体，它只保留当前会话的长期结构表示，而忽略了DGS-MGNN中的长期序列信息。
DGS-MCGNN-SEQ：DGS-MGNN的一种变体，它只保留当前会话的长期顺序表示，而丢弃DGS-MGNN中的长期结构信息。
图4展示了实验结果。可以看出，我们提出的DGS-MGNN在所有数据集上都获得了最佳性能，该模型既捕获了当前会话的长期结构表示，也捕获了当前会话的长期顺序表示。当DGS-MGNN仅配备当前会话的结构信息或序列信息时，其性能将显著降低。此外，在这两种变体中，DGS-MGNN-STR优于DGS-MGNN-SEQ，这表明：1)当前会话的长期结构表示比当前会话的长期顺序表示更重要；2)这两种长期表示是相辅相成的，它们的组合将极大提高性能。
十、全局邻居数量对模型性能的影响
为了探索全局邻居数量(K)对模型性能的影响，我们分析了不同全局邻居数量(0-50)下模型的性能变化。实验结果如图5所示，可以看出，在Diginetica数据上，DGS-MCGNN的性能随着全局邻居数量的增多而提升，当全局邻居数量超过10的时候，模型性能逐渐趋于稳定或轻微下降。在Yoochoose1/64数据上，当全局邻居数据小于20时，模型性能随着全局邻居数量的增多而提升，当超过20时，模型性能逐渐趋于稳定，相同的实验结论也在其他两个数据上得到了体现。结果表明，我们提出的方法DGS-MGNN可以在全局邻居数量相对较少的情况下获得令人满意的性能。
十一、模型在不同长度的会话下的性能差异
为了验证不同长度会话的模型性能，我们将会话分为两组(即长会话和短会话)，其中长度大于5的会话被视为长会话，剩余的会话被视为短会话。我们将我们提出的方法DGS-MGNN与两个最具竞争力的基线模型，即DSAN和GCE-GNN分别在长会话和短会话上进行了性能比较。从图6中可以看出，三种方法在短会话上的性能都优于它们在长会话上的性能，这可归因于长会话通常包含更复杂的用户兴趣(例如，兴趣转移)，难以捕获，而短会话中的用户兴趣通常很简单。本发明提出的模型DGS-MGNN在所有数据集的两个指标上，同时在短会话和长会话上都始终优于两种最先进的基线方法。
此外，与DSAN和GCE-GNN相比，DGS-MGNN在长会话上的性能改进明显大于在短会话上的性能改进。例如，在Diginetica数据集上，DGS-MGNN的P@20(MRR@20)在短会话上相对于DSAN和GCE-GNN的性能改进分别为1.58％(2.96％)和1.78％(2.60％)。而长会话的相应改善率分别为5.23％(8.22％)和5.61％(7.45％)。在其他3个数据集研究中也观察到类似的结果。
十二、模型计算复杂度
将DGS-MGNN的计算复杂度与其他四种最具竞争力的基线方法(包括SR-GNN、TAGNN、DSAN和GCE-GNN)进行了比较。在表4中展示了这些方法的理论计算复杂性以及实际训练时间和内存成本。
从表4中可以看到SR-GNN的计算复杂度是O(s(nd2+n3)+d2)，其中n是会话长度，d是项目embedding的维度。为了简单起见，我们使用s表示不同图形神经网络的层数，即SR-GNN和TAGNN中的门控图神经网络(GGNN)，GCE-GNN中的图注意力网络(GAT)，以及我们提出的DGS-MGNN中的多通道图神经网络(MC-GNN)。与SR-GNN一样，TAGNN同样应用GGNN来学习节点的表示，此外它还开发了一种局部目标主义理论模块来测量当前会话中的每个项目与所有候选项目的注意力得分。因此，该方法具有更高的时间计算复杂度(O(s(nd2+n3)+n|V|d2+d2)，其中|V|是所有候选项目的数量。DSAN和GCE-GNN它们各自的计算复杂度分别是O(n2d+d2)和O(sn2d+nKd+d2)，我们所提出的模型DGS-MGNN的计算复杂度为O(sn2d+n|V|d+d2)，其中主要的计算开销来自于MC-GNN模块中计算全局邻居的部分。从结果可以看出，DGS-MGNN的计算复杂度远低于TAGNN，略高于SR-GNN、DSAN和GCE-GNN。
表4
Figure BDA0003378247770000181
对于训练时间的消耗，我们可以观察到基线DSAN在所有数据集上比其他方法花费更少的训练时间，但Diginetica数据集上除外。基线TAGNN在所有数据集上具有最高的训练时间消耗。对于我们提出的方法DGS-MGNN，其训练时间成本远低于TAGNN，略高于SR-GNN、DSAN和GCE-GNN，这与理论计算复杂性的结果一致。就模型内存成本而言，基线SR-GNN和TAGNN分别显示了所有数据集的最低和最高内存成本。而其他两个基线模型DSAN和GCE-GNN显示了与SR-GNN相当或略高的内存成本。DGS-MGNN的存储成本远低于TAGNN，切与GCE-GNN具有的内存开销相比具有竞争性。基于上述分析，DGS-MGNN的计算复杂度适中，因此在潜在的应用中是可行的。
需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.一种基于结构增强的图卷积神经网络会话推荐方法，其特征在于：首先获取目标会话文本的会话表示；然后基于会话表示生成对应的会话图，进而通过会话图识别目标会话文本中的噪声项目；再结合注意力机制重置噪声项目的注意力权重，以消除噪声项目的影响；最后计算最终预测概率分布，并基于最终预测概率分布进行项目推荐；
具体包括以下步骤：
S1：获取目标会话文本；
S2：将目标会话文本输入经过预先训练的会话推荐模型中；
所述会话推荐模型首先通过融合嵌入模块从三个角度分别提取目标会话文本的局部嵌入表示、全局嵌入表示和共识嵌入表示；再通过重复预测模块计算对应的重复预测概率；然后通过探索预测模块识别目标会话文本中的噪声项目、消除噪声项目的影响，并计算对应的探索预测概率；最后通过判断模块基于重复预测概率和探索预测概率计算对应的最终预测概率分布；
S3：基于会话推荐模型输出的最终预测概率分布进行项目推荐；
其中，重复预测模块通过如下步骤计算重复预测概率：
S221：基于局部嵌入表示
Figure FDA0003648257430000011
全局嵌入表示
Figure FDA0003648257430000012
共识嵌入表示
Figure FDA0003648257430000013
和位置嵌入表示
Figure FDA0003648257430000014
计算对应的新会话表示
Figure FDA0003648257430000015
其中，
Figure FDA0003648257430000016
S222：基于新会话表示Xs结合如下公式计算重复预测概率
Figure FDA00036482574300000121
Figure FDA0003648257430000017
其中，
Figure FDA0003648257430000018
上述式中：
Figure FDA0003648257430000019
表示可训练参数；
Figure FDA00036482574300000110
表示聚合了会话中第j个项目
Figure FDA00036482574300000111
的局部表示、全局表示、共识表示以及其位置嵌入后的综合表示；
探索预测模块包括用于消除噪声项目影响的图增强注意力网络；
图增强注意力网络通过如下步骤消除噪声项目的影响：
S231：基于局部嵌入表示
Figure FDA00036482574300000112
建立对应的错误点击集合
Figure FDA00036482574300000113
通过错误点击集合
Figure FDA00036482574300000114
结合位置嵌入表示
Figure FDA00036482574300000115
计算对应的长期偏好
Figure FDA00036482574300000116
结合长期偏好
Figure FDA00036482574300000117
和局部嵌入表示
Figure FDA00036482574300000118
中的当前偏好
Figure FDA00036482574300000119
计算对应的会话局部表示
Figure FDA00036482574300000120
其中，
Figure FDA0003648257430000021
S232：基于全局嵌入表示
Figure FDA0003648257430000022
建立对应的错误点击集合
Figure FDA0003648257430000023
通过错误点击集合
Figure FDA0003648257430000024
结合位置嵌入表示
Figure FDA0003648257430000025
计算对应的长期偏好
Figure FDA0003648257430000026
结合长期偏好
Figure FDA0003648257430000027
和全局嵌入表示
Figure FDA0003648257430000028
中的当前偏好
Figure FDA0003648257430000029
计算对应的会话全局表示
Figure FDA00036482574300000210
S233：基于共识嵌入表示
Figure FDA00036482574300000211
建立对应的错误点击集合
Figure FDA00036482574300000212
通过错误点击集合
Figure FDA00036482574300000213
结合位置嵌入表示
Figure FDA00036482574300000214
计算对应的长期偏好
Figure FDA00036482574300000215
结合长期偏好
Figure FDA00036482574300000216
和共识嵌入表示
Figure FDA00036482574300000217
中的当前偏好
Figure FDA00036482574300000218
计算对应的会话共识表示
Figure FDA00036482574300000219
S234：结合会话局部表示
Figure FDA00036482574300000220
会话全局表示
Figure FDA00036482574300000221
和会话共识表示
Figure FDA00036482574300000222
计算对应的会话结构表示
Figure FDA00036482574300000223
其中，
Figure FDA00036482574300000224
上述式中：
Figure FDA00036482574300000225
表示可训练参数；
探索预测模块通过如下步骤计算探索预测概率：
S241：通过Bi-GRU模块结合局部嵌入表示
Figure FDA00036482574300000226
全局嵌入表示
Figure FDA00036482574300000227
和共识嵌入表示
Figure FDA00036482574300000228
计算对应的会话顺序表示
Figure FDA00036482574300000229
其中，
Figure FDA00036482574300000230
Figure FDA00036482574300000231
Figure FDA00036482574300000232
Figure FDA00036482574300000233
Figure FDA00036482574300000234
S242：基于会话结构表示
Figure FDA00036482574300000235
和会话顺序表示
Figure FDA00036482574300000236
计算对应的探索预测概率
Figure FDA00036482574300000237
Figure FDA00036482574300000238
其中，
Figure FDA00036482574300000239
上述式中：
Figure FDA00036482574300000240
φgru表示可训练参数；LayerNorm表示归一化；
Figure FDA00036482574300000241
表示候选项目集合V中第i个项目的嵌入表示。
2.如权利要求1所述的基于结构增强的图卷积神经网络会话推荐方法，其特征在于：所述融合嵌入模块包括用于基于目标会话文本生成全局表示的动态全局邻居注意力网络，以及用于基于目标会话文本的局部表示和全局表示融合生成对应的局部嵌入表示、全局嵌入表示和共识嵌入表示的多通道图卷积神经网络。
3.如权利要求2所述的基于结构增强的图卷积神经网络会话推荐方法，其特征在于，所述动态全局邻居注意力网络通过如下步骤生成全局表示：
S201：对目标会话文本
Figure FDA0003648257430000031
进行编码，得到对应的局部表示
Figure FDA0003648257430000032
S202：从候选项目集合V＝{v1,v1,…,v|V|}中提取K个候选项目vj∈V作为目标项目
Figure FDA0003648257430000033
的全局邻居
Figure FDA0003648257430000034
S203：基于全局邻居
Figure FDA0003648257430000035
生成对应的全局邻居嵌入表示
Figure FDA0003648257430000036
S204：通过注意力池化机制聚合目标项目
Figure FDA0003648257430000037
的全局邻居嵌入表示
Figure FDA0003648257430000038
得到目标项目
Figure FDA0003648257430000039
的全局表示
Figure FDA00036482574300000310
其中，
Figure FDA00036482574300000311
S205：计算各个目标项目
Figure FDA00036482574300000312
的会话全局表示
Figure FDA00036482574300000313
并生成目标会话文本S的全局表示
Figure FDA00036482574300000314
上述式中：
Figure FDA00036482574300000315
表示可训练参数；[；]表示拼接操作。
4.如权利要求3所述的基于结构增强的图卷积神经网络会话推荐方法，其特征在于，所述多通道图卷积神经网络通过如下步骤生成局部嵌入表示、全局嵌入表示和共识嵌入表示：
S211：基于局部表示
Figure FDA00036482574300000316
构造对应的局部图AL,(l-1)，并通过局部图AL,(l-1)计算对应的局部嵌入表示
Figure FDA00036482574300000317
其中，
Figure FDA00036482574300000318
S212：基于全局表示
Figure FDA00036482574300000319
构造对应的全局图AG,(l-1)，并通过全局图AG,(l-1)计算对应的全局嵌入表示
Figure FDA00036482574300000320
其中，
Figure FDA00036482574300000321
S213：基于局部图AL,(l-1)和全局图AG,(l-1)融合生成对应的共识图AM,(l-1)；
其中，
Figure FDA00036482574300000322
S214：通过共识图AM,(l-1)计算对应的共识嵌入表示
Figure FDA00036482574300000323
其中，
Figure FDA0003648257430000041
上述式中：HWGCN表示多通道图卷积神经网络；l表示多通道图卷积神经网络的层数；
Figure FDA0003648257430000042
表示第l-1层HWGCN输出的局部嵌入表示；
Figure FDA0003648257430000043
表示第l-1层HWGCN输出的全局嵌入表示；
Figure FDA0003648257430000044
表示第l-1层HWGCN输出的共识嵌入表示；σ表示Sigmoid函数；
Figure FDA0003648257430000045
表示可训练参数。
5.如权利要求4所述的基于结构增强的图卷积神经网络会话推荐方法，其特征在于：所述会话推荐模型还包括图增强的位置编码器；
所述位置编码器通过共识图AM,(l-1)计算对应的位置嵌入表示
Figure FDA0003648257430000046
其中，
Figure FDA0003648257430000047
位置编码器的结构表示为：
Figure FDA0003648257430000048
Figure FDA0003648257430000049
上述式中：
Figure FDA00036482574300000410
表示目标会话文本S中第i个位置的位置嵌入；Slen表示目标会话文本S的会话长度；
Figure FDA00036482574300000411
表示会话长度Slen的嵌入表示。
6.如权利要求1所述的基于结构增强的图卷积神经网络会话推荐方法，其特征在于，判断模块通过如下公式计算最终预测概率；
Figure FDA00036482574300000412
其中，
Figure FDA00036482574300000413
上述式中：
Figure FDA00036482574300000414
表示可训练参数；or和se分别表示重复预测模块和探索预测模块的会话表示；δ表示超参数。
CN202111423525.2A 2021-11-26 2021-11-26 一种基于结构增强的图卷积神经网络会话推荐方法 Active CN113961816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111423525.2A CN113961816B (zh) 2021-11-26 2021-11-26 一种基于结构增强的图卷积神经网络会话推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111423525.2A CN113961816B (zh) 2021-11-26 2021-11-26 一种基于结构增强的图卷积神经网络会话推荐方法

Publications (2)

Publication Number Publication Date
CN113961816A CN113961816A (zh) 2022-01-21
CN113961816B true CN113961816B (zh) 2022-07-01

Family

ID=79472240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111423525.2A Active CN113961816B (zh) 2021-11-26 2021-11-26 一种基于结构增强的图卷积神经网络会话推荐方法

Country Status (1)

Country Link
CN (1) CN113961816B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326425A (zh) * 2021-04-20 2021-08-31 中国电子科技集团公司第五十四研究所 一种基于结构和语义注意力堆叠的会话推荐方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430347B2 (en) * 2017-09-18 2022-08-30 Microsoft Technology Licensing, Llc Providing diet assistance in a session
US10789622B2 (en) * 2018-05-07 2020-09-29 Adobe Inc. Generating and providing augmented reality representations of recommended products based on style compatibility in relation to real-world surroundings
CN112035746A (zh) * 2020-09-01 2020-12-04 湖南大学 一种基于时空序列图卷积网络的会话推荐方法
CN112258262B (zh) * 2020-09-15 2023-09-26 浙江大学 一种基于卷积自注意力网络的会话推荐方法
US11963051B2 (en) * 2020-09-17 2024-04-16 Intel Corporation Context aware handovers
CN112396492A (zh) * 2020-11-19 2021-02-23 天津大学 基于图注意力网络和双向长短期记忆网络的会话推荐方法
CN112925977A (zh) * 2021-02-26 2021-06-08 中国科学技术大学 一种基于自监督图表征学习的推荐方法
CN112989064B (zh) * 2021-03-16 2022-07-08 重庆理工大学 一种聚合知识图神经网络和自适应注意力的推荐方法
CN113487018A (zh) * 2021-07-28 2021-10-08 辽宁工程技术大学 一种基于会话推荐的全局上下文增强图神经网络方法
CN113656696A (zh) * 2021-08-24 2021-11-16 工银科技有限公司 一种会话推荐方法及装置
CN113610610B (zh) * 2021-08-27 2022-07-05 齐鲁工业大学 基于图神经网络和评论相似度的会话推荐方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326425A (zh) * 2021-04-20 2021-08-31 中国电子科技集团公司第五十四研究所 一种基于结构和语义注意力堆叠的会话推荐方法及系统

Also Published As

Publication number Publication date
CN113961816A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
US20220222920A1 (en) Content processing method and apparatus, computer device, and storage medium
CN110516160B (zh) 基于知识图谱的用户建模方法、序列推荐方法
CN112364976B (zh) 基于会话推荐系统的用户偏好预测方法
WO2023108324A1 (zh) 对比学习增强的双流模型推荐系统及算法
Gao et al. The joint method of triple attention and novel loss function for entity relation extraction in small data-driven computational social systems
Rizi et al. Shortest path distance approximation using deep learning techniques
CN114265986B (zh) 一种融合知识图谱结构与路径语义的信息推送方法和系统
CN112699215B (zh) 基于胶囊网络与交互注意力机制的评级预测方法及系统
CN113487018A (zh) 一种基于会话推荐的全局上下文增强图神经网络方法
CN115203550A (zh) 一种增强邻居关系的社交推荐方法及系统
CN114925270A (zh) 一种会话推荐方法和模型
CN115618101A (zh) 基于负反馈的流媒体内容推荐方法、装置及电子设备
CN114741599A (zh) 基于知识增强和注意力机制的新闻推荐方法及系统
Fu et al. A Unified Framework for Multi-Domain CTR Prediction via Large Language Models
Zeng et al. Collaborative filtering via heterogeneous neural networks
CN113961816B (zh) 一种基于结构增强的图卷积神经网络会话推荐方法
CN114186139B (zh) 一种基于时间增强的图神经网络会话推荐方法
CN114462707B (zh) 一种基于特征深度融合的Web服务多维QoS联合预测方法
CN114757391B (zh) 一种面向服务质量预测的网络数据空间设计与应用方法
CN115408505A (zh) 一种基于双通道超图兴趣建模的对话推荐算法
CN113849725B (zh) 一种基于图注意力对抗网络的社会化推荐方法及系统
CN115795005A (zh) 一种融合对比学习去噪优化的会话推荐方法及装置
CN114880576A (zh) 基于时间感知超图图卷积的预测方法
CN115601745A (zh) 一种面向应用端的多视图三维物体识别方法
CN116263794A (zh) 对比学习增强的双流模型推荐系统及算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant