CN116680475A - 基于异质图注意力的个性化推荐方法、系统及电子设备 - Google Patents

基于异质图注意力的个性化推荐方法、系统及电子设备 Download PDF

Info

Publication number
CN116680475A
CN116680475A CN202310659088.7A CN202310659088A CN116680475A CN 116680475 A CN116680475 A CN 116680475A CN 202310659088 A CN202310659088 A CN 202310659088A CN 116680475 A CN116680475 A CN 116680475A
Authority
CN
China
Prior art keywords
embedded
content
node
representation
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310659088.7A
Other languages
English (en)
Inventor
程渤
许秋曼
陈玉立
张书浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310659088.7A priority Critical patent/CN116680475A/zh
Publication of CN116680475A publication Critical patent/CN116680475A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的目的是提供一种基于异质图注意力的个性化推荐方法、系统及电子设备，涉及个性化推荐技术领域。方法包括基于多个用户的推荐内容数据构建异质图；异质图包括用户‑内容侧异质图和内容‑内容属性侧异质图；确定异质图的嵌入向量表示；以嵌入向量为输入，对结合多头注意力机制的图神经网络进行训练，得到目标用户对不同内容的相关性预测得分；确定相关性预测得分最高的前预设个数个内容为目标用户的推荐内容。本发明通过训练结合多头注意力机制的图神经网络，能够提高个性化推荐内容的合理性。

Description

基于异质图注意力的个性化推荐方法、系统及电子设备
技术领域
本发明涉及个性化推荐技术领域，特别是涉及一种基于异质图注意力的个性化推荐方法、系统及电子设备。
背景技术
随着网络技术不断进步和信息量的急剧增加，用户得以方便地在互联网上找到所需信息。但是，大量无效信息及有效信息的混杂使用户筛选信息的难度增加，如何快速有效地定位兴趣内容成为用户的关键需求。为解决这个问题，个性化推荐系统应运而生，其通过高效的数据挖掘和用户兴趣分析，为用户提供符合其兴趣特点的个性化信息和决策支持，从而提升用户的体验和商业价值。
个性化推荐系统的核心在于高精度的算法模型。在许多现实世界的推荐场景中，用户和项目之间通常存在不止一种交互行为。不同交互行为包含不同的信息，且不同行为关系之间也包含着丰富的语义信息，例如在视频推荐场景中，用户会通过点赞、收藏、转发、不喜欢等行为与被推荐内容进行交互，不同交互行为会表达用户对内容不同的偏好程度进而影响着推荐内容及风格，因此这些多关系内部及多关系之间所包含的丰富语义信息对于个性化推荐场景至关重要。在此前的研究中，大多只考虑了单一行为方式下用户与内容的交互，或者以相对独立或局部的方式来考虑多类型行为下用户与被推荐内容的交互，而这远不足以反映上述真实场景下用户与项目复杂的交互方式。且为了避免处理内容间多种属性关联构成的异质图，在表示内容侧关系时会隐去该联系下共同的特征，而只对同时拥有该共同特征的内容建立联系。但这种方式无法有效地区分出内容与内容间不同类型下的联系。例如在短视频推荐场景中，不同视频可能会存在如同一作者的属性关联，此前一般处理方式通过将两个具有相同作者属性的内容直接建立边的联系来表达此种相关性，但对于其他属性关联及权重关系等信息无法有效表达。
发明内容
本发明的目的是提供一种基于异质图注意力的个性化推荐方法、系统及电子设备，能够提高个性化推荐内容的合理性。
为实现上述目的，本发明提供了如下方案：
一种基于异质图注意力的个性化推荐方法，包括：
基于多个用户的推荐内容数据构建异质图；所述异质图包括用户-内容侧异质图和内容-内容属性侧异质图；
确定所述异质图的嵌入向量表示；所述嵌入向量表示包括用户节点嵌入表示、内容节点嵌入表示、内容属性节点嵌入表示和用户-内容间多行为交互边的嵌入表示，以及内容-内容属性间多类型关系边的嵌入表示；
以所述嵌入向量为输入，对结合多头注意力机制的图神经网络进行训练，得到目标用户对不同内容的相关性预测得分；
确定相关性预测得分最高的前预设个数个内容为目标用户的推荐内容。
可选的，所述用户-内容侧异质图和所述内容-内容属性侧异质图中的边均为双向交互。
可选的，所述确定所述异质图的嵌入向量表示包括：
对所述异质图中的节点进行特征提取，得到节点特征向量；所述节点包括：用户节点、内容节点和内容属性节点；所述节点特征向量包括用户节点特征向量、内容节点特征向量和内容属性节点特征向量；
根据所述节点特征向量，确定不同节点的嵌入向量表示；
将不同节点的嵌入向量表示进行拼接，得到节点嵌入表示；所述节点嵌入表示包括用户节点嵌入表示、内容节点嵌入表示和内容属性节点嵌入表示；
对用户-内容间多行为交互边进行时间编码嵌入向量处理，用户-内容间多行为交互边的嵌入表示；
对内容-内容属性间多类型关系边进行随机初始化嵌入处理，得到所述内容-内容属性间多类型关系边的嵌入表示。
可选的，根据所述节点特征向量，确定不同节点的嵌入向量表示，包括：
确定任一节点为当前节点；
确定当前节点对应的数值型特征与数值权重向量之积为数值型特征嵌入表示；
确定当前节点对应的类别型特征与类别权重向量之积为类别型特征嵌入表示；
确定当前节点对应的连续型特征与连续权重向量之积为连续型特征嵌入表示；
利用训练后的Vit模型对当前节点对应的图像模态特征进行处理，得到图像特征嵌入表示；
利用自监督学习训练后的wav2vec 2.0模型对当前节点对应的音频特征进行处理，得到音频特征嵌入表示；
拼接数值型特征嵌入表示、类别型特征嵌入表示、连续型特征嵌入表示、图像特征嵌入表示和音频特征嵌入表示，得到当前节点的嵌入向量表示。
可选的，结合多头注意力机制的图神经网络的损失函数为：
其中，为损失函数；/>为用户与内容间多类型交互行为侧使用的pairwise损失函数；/>为图谱损失函数；/>为L2正则化损失；Wkg为图谱损失函数权重；WL2为L2正则化损失权重。
可选的，以所述嵌入向量为输入，对结合多头注意力机制的图神经网络进行训到目标用户对不同内容的相关性预测得分，包括：
对于任一注意力头，根据目标节点的嵌入向量表示确定查询向量和值向量，根据源侧节点的嵌入向量表示确定键向量，将查询向量和键向量进行相似度计算和softmax变换后，得到源侧节点与目标节点对应的权重系数矩阵；
将多个注意力头对应的权重系数矩阵进行线性变换和融合处理，得到注意力权重分数；
确定注意力权重分数与值向量之积为目标节点的嵌入向量表示的变化量；
确定不同关系下的嵌入向量表示的变化量的权重；
根据不同关系下的嵌入向量表示的变化量及其权重确定目标节点的嵌入更新变化量，进而确定更新后源侧节点的嵌入向量表示和更新后目标节点的嵌入向量表示；
根据更新后源侧节点的嵌入向量表示和更新后目标节点的嵌入向量表示，确定源侧节点到目标节点的相关性预测得分。
一种基于异质图注意力的个性化推荐系统，包括：
异质图构建模块，用于基于多个用户的推荐内容数据构建异质图；所述异质图包括用户-内容侧异质图和内容-内容属性侧异质图；
嵌入向量表示确定模块，用于确定所述异质图的嵌入向量表示；所述嵌入向量表示包括用户节点嵌入表示、内容节点嵌入表示、内容属性节点嵌入表示和用户-内容间多行为交互边的嵌入表示，以及内容-内容属性间多类型关系边的嵌入表示；
相关性预测得分确定模块，用于以所述嵌入向量为输入，对结合多头注意力机制的图神经网络进行训练，得到目标用户对不同内容的相关性预测得分；
推荐模块，用于确定相关性预测得分最高的前预设个数个内容为目标用户的推荐内容。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的一种基于异质图注意力的个性化推荐方法。
可选的，所述存储器为可读存储介质。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的一种基于异质图注意力的个性化推荐方法、系统及电子设备，基于多个用户的推荐内容数据构建异质图；异质图包括用户-内容侧异质图和内容-内容属性侧异质图；确定异质图的嵌入向量表示；以嵌入向量为输入，对结合多头注意力机制的图神经网络进行训练，得到目标用户对不同内容的相关性预测得分；确定相关性预测得分最高的前预设个数个内容为目标用户的推荐内容。本发明通过训练结合多头注意力机制的图神经网络，能够提高个性化推荐内容的合理性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中基于异质图注意力的个性化推荐方法流程图；
图2为本发明实施例1中个性化推荐算法架构图；
图3为本发明实施例1中用户与内容的特征嵌入表示示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于异质图注意力的个性化推荐方法、系统及电子设备，能够提高个性化推荐内容的合理性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本实施例提供了一种基于异质图注意力的个性化推荐方法，包括：
步骤101：基于多个用户的推荐内容数据构建异质图；异质图包括用户-内容侧异质图和内容-内容属性侧异质图。用户-内容侧异质图和内容-内容属性侧异质图中的边均为双向交互。
异质图构建模块包含用户-内容侧异质图构建、内容-内容属性侧异质图构建两部分。
用户-内容侧异质图构建。在对用户与被推荐内容存在的多类型交互行为进行建模时，每个用户被建模为同一类型的节点VU，结合被推荐内容侧的节点VI构成用户与内容侧的异质图节点。根据用户与被推荐内容之间的多种交互行为(如转发、评论、点赞)分别构成该行为下的边EU，其中同种交互行为视为同种类型的边。通过这种方式可以得到用户与内容多行为侧的异质图，该异质图公式表示为：GU＝(VU+VI，EU)。
内容-内容属性侧异质图构建。在对内容侧进行异质图建模时，考虑内容侧的语义信息，从被推荐内容的特征中抽取重复频率较高的特征并将其转化为特定类型的实体作为图节点VI，同时被推荐内容本身也作为图中的一种节点VI。最后根据VI节点与被抽取的实体节点VE之间的关系构建异质图的边EI。通过这种方式可以得到内容侧的异质图，该异质图公式表示为：GI＝(VE+VI，EI)。
步骤102：确定异质图的嵌入向量表示；嵌入向量表示包括用户节点嵌入表示、内容节点嵌入表示、内容属性节点嵌入表示和用户-内容间多行为交互边的嵌入表示，以及内容-内容属性间多类型关系边的嵌入表示。
步骤103：以嵌入向量为输入，对结合多头注意力机制(多头自注意力)的图神经网络进行训练，得到目标用户对不同内容的相关性预测得分。结合多头注意力机制的图神经网络的损失函数为：
其中，为损失函数；/>为用户与内容间多类型交互行为侧使用的pairwise损失函数；/>为图谱损失函数；/>为L2正则化损失；Wkg为图谱损失函数权重；WL2为L2正则化损失权重。
步骤104：确定相关性预测得分最高的前预设个数个内容为目标用户的推荐内容。
步骤102包括：
步骤1021：对异质图中的节点进行特征提取，得到节点特征向量；节点包括：用户节点、内容节点和内容属性节点；节点特征向量包括用户节点特征向量、内容节点特征向量和内容属性节点特征向量。
步骤1022：根据节点特征向量，确定不同节点的嵌入向量表示。
步骤1023：将不同节点的嵌入向量表示进行拼接，得到节点嵌入表示；节点嵌入表示包括用户节点嵌入表示、内容节点嵌入表示和内容属性节点嵌入表示。
步骤1024：对用户-内容间多行为交互边进行时间编码嵌入向量处理，用户-内容间多行为交互边的嵌入表示。
步骤1025：对内容-内容属性间多类型关系边进行随机初始化嵌入处理，得到内容-内容属性间多类型关系边的嵌入表示。
步骤1022，包括：
步骤10221：确定任一节点为当前节点。
步骤10222：确定当前节点对应的数值型特征与数值权重向量之积为数值型特征嵌入表示。
步骤10223：确定当前节点对应的类别型特征与类别权重向量之积为类别型特征嵌入表示。
步骤10224：确定当前节点对应的连续型特征与连续权重向量之积为连续型特征嵌入表示。
步骤10225：利用训练后的Vit模型对当前节点对应的图像模态特征进行处理，得到图像特征嵌入表示。
步骤10226：利用自监督学习训练后的wav2vec 2.0模型对当前节点对应的音频特征进行处理，得到音频特征嵌入表示。
步骤1022：拼接数值型特征嵌入表示、类别型特征嵌入表示、连续型特征嵌入表示、图像特征嵌入表示和音频特征嵌入表示，得到当前节点的嵌入向量表示。
如图3，基于注意力机制的特征提取及嵌入部分输入为异质图构建模块所构建异质图网络，输出为异质图中各类节点及边的嵌入表示。具体分为以下2个步骤：
对用户节点、内容节点及内容属性节点进行特征提取。该步骤对不同类型的特征采用不同处理方式，并转化为统一特征向量表示。具体而言，对于数值、文本或多分类等离散特征使用独热编码方式得到特征向量表示；对于如年龄等在一定区间内离散的特征或连续特征采用分桶处理划分为不同分段；对于性别等二值化分类特征，则直接使用0/1区分。最终将所有特征拼接构建得到用户u、内容i以及属性实体a的特征向量表示其中m、n、k分别表示用户和内容及属性实体的特征数量。
异质图节点及边的特征嵌入表示。该步骤通过创建嵌入矩阵 将上述输出的特征向量表示嵌入统一低维稠密的向量空间中。对于不同特征表示使用不同方式进行嵌入，具体而言，对于数值型特征xn，与权重向量Wn相乘得到嵌入表示，即en＝Wnxn；对于离散的类别型特征，使用权重矩阵Wm与转化为独热编码的类别特征向量xm相乘，得到em＝Wmxm；对于连续型特征进行分桶处理并通过构建的全联接层与权重矩阵Wk进行相乘最终输出特征嵌入表示。由于被推荐内容还包含了诸如文本、视频、音频等多模态特征，本步骤针对多模态数据不同特点使用不同的预训练模型，对内容侧多模态数据进行特征提取并映射到统一向量空间中。具体而言，对于图像模态内容使用Vit模型处理，该模型是图像处理领域成熟的预训练模型，首先将图像进行切分并flatten后送入transformer模型并基于自注意力机制进行训练，最终得到图像的嵌入表示向量eg；对于音频模态内容采用音频处理领域一种成熟的预训练模型wav2vec 2.0模型，通过基于自监督学习来对输入的音频特征进行表征学习，并实现输出音频的向量化表示eo，如图2所示。最后将不同节点对应的特征向量嵌入表示进行拼接得到最终的用户节点特征嵌入表示Eu，内容节点特征嵌入表示Ei，内容属性实体节点嵌入表示Ea。
对于用户-内容间多行为交互边的嵌入表示，步骤在构建过程中将历史交互时间融入边的表示中。具体而言，首先在时间层级上建立了随机初始化的embedding嵌入字典，具体而言，按照不同的时间粒度(如小时、天、周等)建立多层级的索引字典，之后将用户与内容交互的时间戳T转化为时间窗口的序号，并向建立的时间嵌入字典查询获取序号所对应的时间嵌入向量并进行整合，根据时间序号转化为对应时间嵌入的过程可以通过以下公式计算得到，其中，将时间序号l以奇偶进行划分，分别表示为2l和2l+1，并使用正余弦函数sin和cos进行处理生成时间编码嵌入向量。
对于内容及内容属性间多类型关系边的嵌入表示，本文根据语义信息对不同方向不同类型的边的关系使用随机初始化Embedding进行嵌入表示。例如图谱中存在[a,b,c,d]四种关系，则经过随机初始化Embedding可得到多关系边的嵌入表示ee＝[e1,e2,e3,e4]。上述所得的嵌入表示用于下述步骤的模型训练中。
步骤103，包括：
步骤1031：对于任一注意力头，根据目标节点的嵌入向量表示确定查询向量和值向量，根据源侧节点的嵌入向量表示确定键向量，将查询向量和键向量进行相似度计算和softmax变换后，得到源侧节点与目标节点对应的权重系数矩阵；
步骤1032：将多个注意力头对应的权重系数矩阵进行线性变换和融合处理，得到注意力权重分数。
步骤1033：确定注意力权重分数与值向量之积为目标节点的嵌入向量表示的变化量。
步骤1034：确定不同关系下的嵌入向量表示的变化量的权重。
步骤1035：根据不同关系下的嵌入向量表示的变化量及其权重确定目标节点的嵌入更新变化量，进而确定更新后源侧节点的嵌入向量表示和更新后目标节点的嵌入向量表示。
步骤1036：根据更新后源侧节点的嵌入向量表示和更新后目标节点的嵌入向量表示，确定源侧节点到目标节点的相关性预测得分。
如图2，GNN Layer为卷积层，基于深度学习的消息传递及聚合部分利用上一部分所得异质图各节点及边的嵌入表示，通过构建基于注意力机制的信息传递及聚合算法，在用户-内容、内容-用户、内容-属性实体、属性实体-内容不同方向的节点间进行消息传递及融合，并实现对目标节点偏好的预测得分。该部分包含两个阶段，第一阶段为节点邻域消息传递，将目标节点的邻居节点自身的部分信息表示传递并注入目标节点中，使目标节点能够包含更丰富的信息；第二阶段为消息聚合及嵌入表示更新阶段，实现将所有行为及关系的融合与节点信息的更新。
节点邻域消息传递层。由于模块所构建的异质图是双向的，以内容属性实体节点VEk向内容节点VIj的消息传递为例，在某种属性关系p∈P下，将内容属性实体节点作为源侧节点，其嵌入向量矩阵表示为Ea，内容节点作为目标节点，其嵌入向量矩阵表示为Ei，在每个注意力头下，将节点表示向量通过注意力模块进行相关性计算得到注意力分数，并将所有头所得注意力分数进行拼接。具体而言，Ei与可学习矩阵相乘得到查询向量，公式为：Ea与可学习矩阵/>相乘得键向量，公式为/>其中h(i)∈H表示多头注意力机制中的第i个头。查询向量与键向量进行相似度计算与softmax变换后，得到内容属性实体节点与内容节点对应的权重系数矩阵：
其中，相似度矩阵具体表示为：
将所有注意力头进行拼接并使用权重矩阵WO进行线性变换后得到最终融合了不同子空间信息的注意力权重分数：
之后，Ei与可学习矩阵WV相乘得到值向量V＝EiWV，并与权重矩乘积运算得到关系p下的内容节点嵌入表示向量的变化量。
在关系集合P下，将单关系下得到的目标节点更新后嵌入表示变化量，与融合了不同关系下经消息传递机制所得更新后节点嵌入变化量得到的目标内容节点总信息进行混合运算，得到融合了所有关系后p下权重表示，计算公式如下：
加权求和所有关系权重完成不同关系下内容属性实体节点对目标内容节点的消息传递与聚合过程，最终内容节点在关系集合P下的嵌入更新变化量：
将不同方向的节点消息传递通过该消息传递机制，同样可得在交互行为k∈K下，内容到用户消息更新后的节点嵌入变化量用户到内容消息更新后的节点嵌入变化量/>以及关系p∈P下内容到内容属性实体消息更新后的节点嵌入变化量/>
消息聚合及嵌入表示更新层。模型将所有行为和关系进行融合，最终得到融合了所有交互行为信息的用户节点表示、融合了多关系的内容属性实体节点表示以及同时融合多类型交互行为及多关系的内容节点表示：
其中，对于内容节点，由于用户节点和内容属性实体节点均向其进行了消息传递，因此本节根据一定权重比例将两个方向传递的消息内容进行融合，计算出包含了用户和内容属性两侧信息的内容节点最终变化量，其中α为权重超参数：
ΔEi＝αΔEui+(1-α)ΔEai
为捕捉在用户与内容间多行为交互，以及内容与内容属性间多类型关联间的高阶协同关系，扩大模型感受野使其学习更多信息，模型使用了多层网络模型，将所有层在模型消息传递及聚合机制后得到更新后的用户节点、内容节点及属性实体节点嵌入表示变化量进行相加，并与最初的节点表示融合得到最终更新后的节点表示，其中l∈L表示神经网络层数：
为根据用户对被推荐商品偏好得分作出个性化推荐，模型综合考了虑用户侧和内容侧信息，将最终更新后的用户侧节点和内容侧节点嵌入表示进行融合运算，得到最终的用户与内容之间的相关性预测得分：
Pru，i＝coS(U，I)
模型训练及优化部分。在模型训练过程及损失优化阶段，模型针对不同阶段的训练特点对损失函数进行了设计，并使用TransR翻译模型将图谱特征融入损失函数设计中，此外，模型训练损失函数还采用基于pairwise函数及正则化损失的混合损失函数来对模型进行更新优化，损失函数设计如下：
其中，模型在用户与内容间多类型交互行为侧使用了pairwise损失函数分别计算正负样例之间的相关性，并将其差值作为模型损失值之一，具体计算方法为：
其中，是为避免过拟合的L2正则化损失。此外，模型通过将TransR方法与传统图注意力网络结合，学习异质图中的节点嵌入向量关系使模型得以处理异质信息网络。通过这种方式可以充分考虑不同边之间包含的信息，有效地在异质图上进行信息传播与消息聚合。对于每一三元组(h，r，t)，其图谱损失函数表示为：
为验证本发明提出的算法有效性，采用能够体现实际推荐场景的微信大数据挑战赛数据集进行验证，该数据集提供了使用微信视频号用户在14天内与视频内容交互的用户行为数据集，以及多模态内容信息的视频属性集。算法采用命中率(Hit Ratio，HR)和归一化折损累计增益(Normalized Discounted Cumulative Gain,NDCG)作为评价指标，并与多个经典的基线模型进行对比，实验结果如表1所示。
实验结果表明，本发明提出的算法模型在召回排序数量K＝[5,10,15,20]取值下相对于所有基准模型对比实验中取得了更佳效果，对于基准模型中最好的结果在命中率方面提升2.46％，在NDCG方面提升了2.17％，说明综合考虑用户与内容之间的多类型交互行为，以及考虑内容与属性间多关系，并抽取内容属性为实体节点来构建异质图的技术方法可以更有效地将更多信息保留并进行嵌入表示，同时采用基于异质图注意力机制的技术手段进行模型构建可实现挖掘关系之间的潜在高阶特征。并最终实现在用户与内容的多种类型交互，以及内容多类型属性关联的复杂场景条件下高质量完成对目标用户的个性化推荐任务。
表1实验结果表
实施例2
为了执行上述实施例1对应的方法，以实现相应的功能和技术效果，下面提供了一种基于异质图注意力的个性化推荐系统，包括：
异质图构建模块，用于基于多个用户的推荐内容数据构建异质图；异质图包括用户-内容侧异质图和内容-内容属性侧异质图。
嵌入向量表示确定模块，用于确定异质图的嵌入向量表示；嵌入向量表示包括用户节点嵌入表示、内容节点嵌入表示、内容属性节点嵌入表示和用户-内容间多行为交互边的嵌入表示，以及内容-内容属性间多类型关系边的嵌入表示。
相关性预测得分确定模块，用于以嵌入向量为输入，对结合多头注意力机制的图神经网络进行训练，得到目标用户对不同内容的相关性预测得分。
推荐模块，用于确定相关性预测得分最高的前预设个数个内容为目标用户的推荐内容。
实施例3
本实施例提供了一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例1所述的一种基于异质图注意力的个性化推荐方法。可选的，存储器为可读存储介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于异质图注意力的个性化推荐方法，其特征在于，包括：
基于多个用户的推荐内容数据构建异质图；所述异质图包括用户-内容侧异质图和内容-内容属性侧异质图；
确定所述异质图的嵌入向量表示；所述嵌入向量表示包括用户节点嵌入表示、内容节点嵌入表示、内容属性节点嵌入表示和用户-内容间多行为交互边的嵌入表示，以及内容-内容属性间多类型关系边的嵌入表示；
以所述嵌入向量为输入，对结合多头注意力机制的图神经网络进行训练，得到目标用户对不同内容的相关性预测得分；
确定相关性预测得分最高的前预设个数个内容为目标用户的推荐内容。
2.根据权利要求1所述的一种基于异质图注意力的个性化推荐方法，其特征在于，所述用户-内容侧异质图和所述内容-内容属性侧异质图中的边均为双向交互。
3.根据权利要求1所述的一种基于异质图注意力的个性化推荐方法，其特征在于，所述确定所述异质图的嵌入向量表示包括：
对所述异质图中的节点进行特征提取，得到节点特征向量；所述节点包括：用户节点、内容节点和内容属性节点；所述节点特征向量包括用户节点特征向量、内容节点特征向量和内容属性节点特征向量；
根据所述节点特征向量，确定不同节点的嵌入向量表示；
将不同节点的嵌入向量表示进行拼接，得到节点嵌入表示；所述节点嵌入表示包括用户节点嵌入表示、内容节点嵌入表示和内容属性节点嵌入表示；
对用户-内容间多行为交互边进行时间编码嵌入向量处理，用户-内容间多行为交互边的嵌入表示；
对内容-内容属性间多类型关系边进行随机初始化嵌入处理，得到所述内容-内容属性间多类型关系边的嵌入表示。
4.根据权利要求3所述的一种基于异质图注意力的个性化推荐方法，其特征在于，根据所述节点特征向量，确定不同节点的嵌入向量表示，包括：
确定任一节点为当前节点；
确定当前节点对应的数值型特征与数值权重向量之积为数值型特征嵌入表示；
确定当前节点对应的类别型特征与类别权重向量之积为类别型特征嵌入表示；
确定当前节点对应的连续型特征与连续权重向量之积为连续型特征嵌入表示；
利用训练后的Vit模型对当前节点对应的图像模态特征进行处理，得到图像特征嵌入表示；
利用自监督学习训练后的wav2vec 2.0模型对当前节点对应的音频特征进行处理，得到音频特征嵌入表示；
拼接数值型特征嵌入表示、类别型特征嵌入表示、连续型特征嵌入表示、图像特征嵌入表示和音频特征嵌入表示，得到当前节点的嵌入向量表示。
5.根据权利要求1所述的一种基于异质图注意力的个性化推荐方法，其特征在于，结合多头注意力机制的图神经网络的损失函数为：
其中，为损失函数；/>为用户与内容间多类型交互行为侧使用的pairwise损失函数；/>为图谱损失函数；/>为L2正则化损失；Wkg为图谱损失函数权重；WL2为L2正则化损失权重。
6.根据权利要求1所述的一种基于异质图注意力的个性化推荐方法，其特征在于，以所述嵌入向量为输入，对结合多头注意力机制的图神经网络进行训到目标用户对不同内容的相关性预测得分，包括：
对于任一注意力头，根据目标节点的嵌入向量表示确定查询向量和值向量，根据源侧节点的嵌入向量表示确定键向量，将查询向量和键向量进行相似度计算和softmax变换后，得到源侧节点与目标节点对应的权重系数矩阵；
将多个注意力头对应的权重系数矩阵进行线性变换和融合处理，得到注意力权重分数；
确定注意力权重分数与值向量之积为目标节点的嵌入向量表示的变化量；
确定不同关系下的嵌入向量表示的变化量的权重；
根据不同关系下的嵌入向量表示的变化量及其权重确定目标节点的嵌入更新变化量，进而确定更新后源侧节点的嵌入向量表示和更新后目标节点的嵌入向量表示；
根据更新后源侧节点的嵌入向量表示和更新后目标节点的嵌入向量表示，确定源侧节点到目标节点的相关性预测得分。
7.一种基于异质图注意力的个性化推荐系统，其特征在于，包括：
异质图构建模块，用于基于多个用户的推荐内容数据构建异质图；所述异质图包括用户-内容侧异质图和内容-内容属性侧异质图；
嵌入向量表示确定模块，用于确定所述异质图的嵌入向量表示；所述嵌入向量表示包括用户节点嵌入表示、内容节点嵌入表示、内容属性节点嵌入表示和用户-内容间多行为交互边的嵌入表示，以及内容-内容属性间多类型关系边的嵌入表示；
相关性预测得分确定模块，用于以所述嵌入向量为输入，对结合多头注意力机制的图神经网络进行训练，得到目标用户对不同内容的相关性预测得分；
推荐模块，用于确定相关性预测得分最高的前预设个数个内容为目标用户的推荐内容。
8.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至6中任一项所述的一种基于异质图注意力的个性化推荐方法。
9.根据权利要求8所述的一种电子设备，其特征在于，所述存储器为可读存储介质。
CN202310659088.7A 2023-06-06 2023-06-06 基于异质图注意力的个性化推荐方法、系统及电子设备 Pending CN116680475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310659088.7A CN116680475A (zh) 2023-06-06 2023-06-06 基于异质图注意力的个性化推荐方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310659088.7A CN116680475A (zh) 2023-06-06 2023-06-06 基于异质图注意力的个性化推荐方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN116680475A true CN116680475A (zh) 2023-09-01

Family

ID=87778675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310659088.7A Pending CN116680475A (zh) 2023-06-06 2023-06-06 基于异质图注意力的个性化推荐方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN116680475A (zh)

Similar Documents

Publication Publication Date Title
CN112200317B (zh) 多模态知识图谱构建方法
CN111522962B (zh) 序列推荐方法、装置及计算机可读存储介质
CN111291212B (zh) 基于图卷积神经网络的零样本草图图像检索方法和系统
CN108984724B (zh) 利用高维表示提高特定属性情感分类准确率方法
CN109614471B (zh) 一种基于生成式对抗网络的开放式问题自动生成方法
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN112561064B (zh) 基于owkbc模型的知识库补全方法
CN112287170B (zh) 一种基于多模态联合学习的短视频分类方法及装置
CN112836120A (zh) 一种基于多模态知识图谱的电影推荐方法、系统及终端
CN112597296B (zh) 一种基于计划机制和知识图谱引导的摘要生成方法
CN116664719B (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
CN116720004B (zh) 推荐理由生成方法、装置、设备及存储介质
CN113297370B (zh) 基于多交互注意力的端到端多模态问答方法及系统
CN112417289B (zh) 一种基于深度聚类的资讯信息智能推荐方法
US20230237093A1 (en) Video recommender system by knowledge based multi-modal graph neural networks
CN112364168A (zh) 一种基于多属性信息融合的舆情分类方法
CN112699310A (zh) 基于深度神经网络的冷启动跨域混合推荐的方法及系统
CN115982467A (zh) 一种去偏化用户多兴趣推荐方法、装置及存储介质
CN114528374A (zh) 一种基于图神经网络的电影评论情感分类方法及装置
CN115526322A (zh) 基于Decision Transformer的序列生成式知识推理方法及系统
CN116975350A (zh) 图文检索方法、装置、设备及存储介质
CN115588122A (zh) 一种基于多模态特征融合的新闻分类方法
CN117216281A (zh) 一种基于知识图谱的用户兴趣扩散推荐方法及系统
CN117391497A (zh) 一种新闻稿件质量主客观评分一致性评价方法及系统
CN116882450A (zh) 问答模型的编辑方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination