CN117131282B - 融合层注意力机制的多视角图对比学习推荐方法与系统 - Google Patents

融合层注意力机制的多视角图对比学习推荐方法与系统 Download PDF

Info

Publication number
CN117131282B
CN117131282B CN202311399337.XA CN202311399337A CN117131282B CN 117131282 B CN117131282 B CN 117131282B CN 202311399337 A CN202311399337 A CN 202311399337A CN 117131282 B CN117131282 B CN 117131282B
Authority
CN
China
Prior art keywords
user
learning
loss function
item
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311399337.XA
Other languages
English (en)
Other versions
CN117131282A (zh
Inventor
钱忠胜
黄恒
朱辉
刘金平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Finance and Economics
Original Assignee
Jiangxi University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Finance and Economics filed Critical Jiangxi University of Finance and Economics
Priority to CN202311399337.XA priority Critical patent/CN117131282B/zh
Publication of CN117131282A publication Critical patent/CN117131282A/zh
Application granted granted Critical
Publication of CN117131282B publication Critical patent/CN117131282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出一种融合层注意力机制的多视角图对比学习推荐方法与系统，该方法基于用户‑项目交互图，通过添加随机噪声扰动构建扰动增强视图，利用奇异值分解重构构建SVD增强视图，将两个增强视图进行增强视图对比学习；利用用户和候选项目的不同层嵌入间的关系，基于语义相似度选择对比学习对象的锚点和正负实例进行节点级对比学习，以构建候选节点对比学习和候选结构邻居对比学习；将不同视角下的不同对比学习作为辅助任务，推荐任务作为主任务，联合优化总损失函数，得到最终推荐结果。本发明通过建立多视角图对比学习来获取更高质量的节点嵌入，提升模型的泛化能力，并融合层注意力机制聚合最终节点嵌入以缓解过度平滑问题，提升推荐效果。

Description

融合层注意力机制的多视角图对比学习推荐方法与系统
技术领域
本发明涉及个性化推荐技术领域，特别涉及一种融合层注意力机制的多视角图对比学习推荐方法与系统。
背景技术
学习推荐方法是一种基于机器学习的推荐系统方法，在实际应用中得到了广泛的应用，例如购物网站、社交网络等。
传统的图卷积方法是基于图神经网络（Graph Neural Networks，GNN）发展而来的，通过将节点和边表示为向量来对图进行建模和分析。目前，在学习推荐领域，采用传统的图卷积方法实现推荐任务存在以下弊端：
1、传统的图卷积方法基于邻居节点的平均池化来更新节点的嵌入表示，这种方式可能会将邻居节点的重要信息平均化，从而造成信息的丢失。这也就意味着，那些和当前节点有重要关联的邻居节点的信息无法完整地传递给当前节点，导致模型的表现力受到限制。
2、对图数据较大的情况计算复杂度高。在处理带有大量节点和边的图数据时，传统的图卷积方法需要计算所有节点的邻居节点，因此计算复杂度较高，导致训练时间过长或无法进行足够深层次的神经网络训练。
3、缺乏针对性的节点嵌入表示。传统的图卷积方法只考虑了邻居节点的信息，但忽略了节点的上下文和属性等因素。这样的话，同样的邻居节点对不同的节点而言可能具有不同的重要性，而传统的方法并不能准确地捕捉这种区别，从而导致节点嵌入表示的缺乏针对性。
4、图对比学习视角单一。现有的基于图对比学习的推荐方法大多使用单一视角进行对比学习，导致其受限于具体的应用场景，泛化能力有限，不同场景下需要人工选择合适的增强策略。
发明内容
鉴于上述状况，本发明的主要目的是为了提出一种融合层注意力机制的多视角图对比学习推荐方法与系统，以解决上述技术问题。
本发明提供了一种融合层注意力机制的多视角图对比学习推荐方法，所述方法包括如下步骤：
步骤1、给定用户-项目交互图，并进行聚合操作，通过在聚合过程中添加随机噪声扰动构建扰动增强视图，根据用户-项目交互图中用户和项目之间的交互关系，利用奇异值分解重构构建SVD增强视图，将扰动增强视图和SVD增强视图进行增强视图对比学习；
步骤2、通过在聚合过程中利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，分别构建候选节点对比学习和候选结构邻居对比学习；
步骤3、利用给定的用户-项目交互图执行推荐任务，采用多任务学习的方法训练模型，将不同视角下的三种对比学习作为辅助任务，推荐任务作为主任务，并将辅助任务和主任务联合优化总损失函数，得到最终的推荐结果。
本发明还提出一种融合层注意力机制的多视角图对比学习推荐系统，所述系统应用如上述的一种融合层注意力机制的多视角图对比学习推荐方法，所述系统包括：
视图级对比学习模块，用于：
给定用户-项目交互图，并进行聚合操作，通过在聚合过程中添加随机噪声扰动构建扰动增强视图，根据用户-项目交互图中用户和项目之间的交互关系，利用奇异值分解重构构建SVD增强视图，将扰动增强视图和SVD增强视图进行增强视图对比学习；
节点级对比学习模块，用于：
通过在聚合过程中利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，分别构建候选节点对比学习和候选结构邻居对比学习；
预测与推荐模块，用于：
利用给定的用户-项目交互图执行推荐任务，采用多任务学习的方法训练模型，将不同视角下的三种对比学习作为辅助任务，推荐任务作为主任务，并将辅助任务和主任务联合优化总损失函数，得到最终的推荐结果。
相较于现有技术，本发明的有益效果如下：
1) 为提高模型的泛化能力，提出构造多视角图对比学习。通过将加入随机噪声的扰动增强视图与奇异值分解的SVD增强视图进行视图级对比学习，并通过与基于语义相似度的两个节点级对比学习相结合，从而学习更高质量的节点嵌入表示，提升推荐效果。
2) 为缓解过度平滑问题，融入层注意力机制聚合。在模型做最终节点嵌入聚合时，采用层注意力机制的方式稳定深层训练，从而使得模型能更高效的利用高阶邻域的图信息，改善模型的高阶连通性。
本发明的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明提出的一种融合层注意力机制的多视角图对比学习推荐方法的流程图；
图2为本发明融合层注意力机制的图卷积结构图；
图3为本发明提出的一种融合层注意力机制的多视角图对比学习推荐系统的总体框架。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。
请参阅图1和图2，本发明实施例提供了一种融合层注意力机制的多视角图对比学习推荐方法，所述方法包括如下步骤：
步骤1、给定用户-项目交互图，并进行聚合操作，通过在聚合过程中添加随机噪声扰动构建扰动增强视图，根据用户-项目交互图中用户和项目之间的交互关系，利用奇异值分解重构构建SVD增强视图，将扰动增强视图和SVD增强视图进行增强视图对比学习；
进一步的，给定用户-项目交互图，并进行聚合操作，通过在聚合过程中添加随机噪声扰动构建扰动增强视图的方法具体包括如下步骤：
根据给定的用户-项目交互图，对用户和项目进行特征向量聚合，得到用户和项目的嵌入表示，对用户和项目进行特征向量聚合过程存在如下关系式：
；
其中，和/>分别表示在/>层传播后用户/>和项目/>的嵌入表示，/>表示用户/>交互的项目集，/>表示与项目/>交互的用户集，/>代表对称归一化项，其作用是为避免嵌入的规模随着图卷积的增加而增大；
在原始表征中随机添加均匀噪声扰动，以实现表征级数据增强，随机添加均匀噪声扰动过程存在如下关系式：
；
其中，、/>分别表示加入了扰动后的第/>层用户嵌入与项目嵌入，/>、/>分别是加入第/>层用户嵌入与项目嵌入的扰动，其约束条件为/>与，/>，/>用于控制噪声的大小，/>表示超参数，/>表示同或运算，/>表示符号函数，/>表示/>的向量，/>表示实数的 />维向量空间，其每个维度均服从 0 到 1 之间的均匀分布，保证加入的噪声维度与原嵌入维度一致，这样，加入的噪声就不会与原嵌入有较大偏差。
将获得每层加入了扰动后用户嵌入与项目嵌入通过层注意力机制获得最终用户/项目的嵌入表示，获得最终用户/项目的嵌入表示过程存在如下关系式：
；
其中，分别表示加入了扰动后的用户/>、项目/>的最终嵌入表示，/>表示网络层数，/>表示执行层注意力操作，/>和/>分别表示聚合用户嵌入与项目嵌入时加入了扰动后第/>层的注意力权重，/>和/>的计算过程存在如下关系式：
；
其中，表示计算注意力权重的参数，/>表示嵌入向量维度，/>表示指数函数。
在上述方案中通过调节学习到的表征分布的均匀性可使模型达到更优性能。为实现这一目标，在原始表征中随机添加均匀噪声扰动，实现表征级数据增强。这种增强方式可使嵌入表征在整个空间分布中更加均匀，既避免了语义偏差，又保存了原始表征中可学习的信息。
上述通过随机扰动增强的视图已尽可能地保留原有图结构信息，为充分利用有效信息，采取SVD提取重要的协同信息。
经过SVD分解的图结构学习有两方面的优势。一方面，该方法通过识别用户偏好中更重要的信息作为重构图的主要成分；另一方面，考虑了每一对用户和物品的潜在关联，更能挖掘全局信息。由于在大型矩阵上执行精确的SVD需要大量的计算资源，这在处理大规模数据时则显得不切实际。
因此，本发明采用随机SVD算法，先用低秩的正交矩阵逼近输入矩阵的范围，再对这个较小的矩阵执行SVD分解。根据用户-项目交互图中用户和项目之间的交互关系，利用奇异值分解重构构建SVD增强视图具体步骤如下：
根据用户-项目交互图中用户和项目之间的关系构建邻接矩阵，再对邻接矩阵进行归一化；
利用低秩的正交矩阵逼近归一化后的邻接矩阵的范围，再对逼近后的矩阵执行SVD分解，得到重构后的矩阵，获得重构后的矩阵过程存在如下关系式：
；
其中，表示分解所需的秩，/>设置为5，/>、/>和/>分别表示/>的近似，，/>，/>，/>和/>分别表示/>阶和/>阶的正交矩阵，/>表示半正定/>阶对角矩阵，/>表示随机SVD算法，/>表示转置操作，/>表示重构后的矩阵；
将重构后的矩阵输入传播表达式中，获得重构后的图结构中的用户/项目的嵌入表示，将重构后的矩阵输入传播表达式的计算过程存在如下关系式：
；
其中，和/>分别表示重构后的图结构中第/>层的用户嵌入和项目嵌入。通过这种方式，不需要计算和储存大型的矩阵/>，只需储存低维的/>，并在SVD分解的预处理阶段提前计算，极大地提升了模型效率。
将获得每层重构后用户嵌入与项目嵌入通过层注意力机制获得最终用户/项目的嵌入表示，获得最终用户/项目的嵌入表示过程存在如下关系式：
；
其中，分别是重构后的图结构中的用户/>和项目/>的最终嵌入表示， />和的计算过程存在如下关系式：
；
其中，和/>分别表示聚合用户嵌入与项目嵌入时加入了扰动后第/>层的注意力权重。
上述方案通过对原有图结构添加噪声扰动和SVD重构，得到两个增强视图，其在尽可能保留原有图结构信息的同时，也充分利用了图结构中的有效信息。因此，再将构造扰动增强视图与SVD增强视图的对比学习，而将扰动增强视图和SVD增强视图进行增强视图对比学习的方法具体包括如下步骤：
将同一个节点在不同视图下用户的最终嵌入表示作为用户的正例对，将不同节点在不同视图下用户的最终嵌入表示作为用户的负例对/>，利用用户的正例对和用户的负例对构建用户的增强视图对比学习损失函数，构建用户的增强视图对比学习损失函数过程存在如下关系式：
；
其中，表示用户的增强视图对比学习损失函数，/>表示余弦相似度，/>表示一个温度超参数，/>分别表示在扰动增强视图和SVD增强视图下用户/>的最终嵌入表示，/>表示与用户/>不同的用户在SVD增强视图下的最终嵌入表示；
将同一个节点在不同视图下项目的最终嵌入表示作为项目的正例对，将不同节点在不同视图下项目的最终嵌入表示作为项目的负例对/>，利用项目的正例对和项目的负例对构建项目的增强视图对比学习损失函数，构建项目的增强视图对比学习损失函数过程存在如下关系式：
；
其中，表示项目的增强视图对比学习损失函数，/>分别表示在扰动增强视图和SVD增强视图下项目/>的最终嵌入表示，/>表示与项目/>不同的项目在SVD增强视图下的最终嵌入表示；
将用户的增强视图对比学习损失函数和项目的增强视图对比学习损失函数结合，以得到增强视图对比学习损失函数，获得增强视图对比学习损失函数的过程存在如下关系式：
；
其中，表示增强视图对比学习损失函数。
步骤2、通过在聚合过程中利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，分别构建候选节点对比学习和候选结构邻居对比学习；
对于给定的用户和候选项目，推荐的目标是预测它们间交互的概率。根据协同过滤的基本原理，具有相似偏好的用户可能会与相同的项目进行交互，若用户与侯选项目/>具有较高的交互可能性，则用户/>在嵌入空间中会与候选项目/>的历史交互用户相似，且用户/>通常不与其它候选项目的历史交互用户相似。
例1：用户喜欢吃汉堡包(候选项目)，用户/>曾经购买过汉堡包，用户/>从来没有购买过汉堡包，那么认为在嵌入空间中，用户/>和用户/>的嵌入应拉近，用户/>与用户的嵌入则需拉远。
通过例1可知的是，通过在聚合过程中利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，构建候选节点对比学习的方法具体包括如下步骤：在用户侧，将用户的嵌入作为锚点，将候选项目的一阶邻居节点嵌入作为第一正实例，将其它项目的一阶邻居节点嵌入作为第一负实例，并利用第一正实例和第一负实例构建用户侧候选节点对比学习损失函数，用户侧候选节点对比学习损失函数构建过程存在如下关系式：
；
其中，表示候选节点对比学习中用户侧的损失函数，/>表示第/>层项目侧的嵌入，/>表示奇数；
而候选节点对比学习中项目侧的损失函数与上述类似，在候选项目侧，用户的历史交互项在嵌入空间中更靠近候选项目，而其它用户的历史交互项通常远离候选项目。
例2：用户喜欢吃汉堡包(候选项目)，且他购买过爆米花，用户/>购买过蓝牙耳机，则在嵌入空间中，可认为汉堡包和爆米花的嵌入更接近，爆米花和蓝牙耳机的嵌入一般较远。
通过例1可知的是，通过在聚合过程中利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，构建候选结构邻居对比学习的方法具体包括如下步骤：在项目侧，将候选项目的嵌入作为锚点，将用户的一阶邻居节点嵌入作为第二正实例，与用户/>不同的其它用户的一阶邻居节点嵌入作为第二负实例，并利用第二正实例和第二负实例构建项目侧候选节点对比学习损失函数，项目侧候选节点对比学习损失函数构建过程存在如下关系式：
；
其中，表示候选节点对比学习中项目侧的损失函数，/>表示第/>层用户侧的嵌入；
将候选节点对比学习中用户侧的损失函数和候选节点对比学习中项目侧的损失函数结合，得到候选节点对比学习的损失函数，获得候选节点对比学习损失函数的过程存在如下关系式：
；
其中，表示控制两个损失函数强度的超参数，/>表示候选节点对比学习的损失函数。
用户/项目的结构邻居包含相似兴趣的项目/用户。用户的二阶邻居和项目的一阶邻居是相同类型的节点(用户类型)。在进行多层图卷积时，它们将相互连接，且互相存在长距离依赖关系。若用户与候选项目/>交互，则/>的用户类型邻居节点在嵌入空间中更接近/>的用户类型邻居节点。
例3：用户喜欢吃汉堡包(候选项目)，且他购买过爆米花，汉堡包与冰淇淋属于同一类，用户/>购买过蓝牙耳机，则在嵌入空间中爆米花(/>的结构邻居)与冰淇淋(候选项目的二阶邻居)的嵌入更接近，一般与蓝牙耳机(其它用户的结构邻居)的嵌入更远。
由例3可知的是，根据给定的用户-项目交互图，利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，构建候选结构邻居对比学习的方法具体包括如下步骤：
选择用户的项目类型结构邻居节点的嵌入作为锚点，用户的项目类型邻居节点的嵌入作为第三正实例，其它用户的项目类型邻居节点的嵌入作为第三负实例，并利用第三正实例和第三负实例构建用户侧候选结构邻居对比学习损失函数，用户侧候选结构邻居对比学习损失函数构建过程存在如下关系式：
；
其中，表示候选结构邻居对比学习中用户侧的损失函数，/>表示第/>层项目侧的嵌入，/>为偶数。
而候选结构邻居对比学习中项目侧的损失函数与上述类似，在项目侧方面，用户的项目类型邻居节点也接近候选项目/>的项目类型邻居节点。
例4：用户喜欢汉堡包(候选项目)，用户/>与/>具有相似兴趣，用户/>曾经购买过汉堡包，用户/>未购买过汉堡包，则在嵌入空间中/>(/>的二阶邻居)与/>(候选项目的结构邻居)的嵌入更接近，一般与/>(其它项目的结构邻居)的嵌入更远。
由例4可知的是，使用候选项目的用户类型结构邻居节点的嵌入作为锚点，项目的用户类型邻居节点的嵌入作为第四正实例，其它项目的用户类型邻居节点的嵌入作为第四负实例，并利用第四正实例和第四负实例构建项目侧候选结构邻居对比学习损失函数，项目侧候选结构邻居对比学习损失函数构建过程存在如下关系式：
；
其中，表示候选结构邻居对比学习中项目侧的损失函数，/>表示第/>层用户侧的嵌入；
再将候选结构邻居对比学习中用户侧的损失函数和候选结构邻居对比学习中项目侧的损失函数结合，得到候选结构邻居对比学习的损失函数，获得候选结构邻居对比学习的损失函数的过程存在如下关系式：
；
其中，表示候选结构邻居对比学习的损失函数。
步骤3、利用给定的用户-项目交互图执行推荐任务，采用多任务学习的方法训练模型，将不同视角下的三种对比学习作为辅助任务，推荐任务作为主任务，并将辅助任务和主任务联合优化总损失函数，得到最终的推荐结果。
本发明采用的是多任务训练策略来联合优化推荐损失函数与对比学习损失函数，因此需要获取推荐损失函数，因此利用给定的用户-项目交互图执行推荐任务，通过预测结果来构建推荐损失函数。
利用给定的用户-项目交互图执行推荐任务的方法具体包括如下步骤：
将获得每层嵌入表示通过层注意力机制获得最终用户/项目的嵌入表示，获得最终用户/项目的嵌入表示过程存在如下关系式：
；
其中，和/>分别表示用户/>、项目/>的最终嵌入表示；
将用户、项目/>的最终嵌入表示采用内积操作，以预测用户/>和项目/>交互的可能性，预测用户/>和项目/>交互的可能性过程存在如下关系式：
；
其中，表示用户/>对交互项目/>的预测分数，/>分别是用户/>和项目/>的最终嵌入；
采用贝叶斯个性化排名方法，利用用户对交互项目/>的预测分数和用户/>对未交互项目/>的预测分数构建推荐损失函数，推荐损失函数构架过程存在如下关系式：
；
其中，是sigmoid函数，/>表示训练数据集，/>表示与用户/>交互的项目，/>表示与用户/>未交互的项目，/>表示用户/>对未交互项目/>的预测分数，/>表示推荐损失函数。
上述方案中，通过优化，模型可有效地建模用户和项目间的交互。为进一步挖掘图结构信息和节点间信息，采用多任务学习的方法训练模型，将不同视角下的三种对比学习作为辅助任务，推荐任务作为主任务，并将辅助任务和主任务联合优化总损失函数的方法具体包括如下步骤：
将增强视图对比学习损失函数、候选节点对比学习的损失函数和候选结构邻居对比学习的损失函数与推荐损失函数进行结合，得到联合优化的总损失函数，获得联合优化的总损失函数的过程存如下关系式：
；
其中，、/>和/>分别表示控制增强视图对比学习、候选节点对比学习和候选结构邻居对比学习损失权重的超参数，/>是正则化系数，/>表示模型的可训练参数，/>表示/>正则化，/>表示总损失函数；
通过优化联合损失函数学习模型，得到最终预测概率，以最终预测概率为最终的推荐结果。
请参照图3，本实施例还提供一种融合层注意力机制的多视角图对比学习推荐系统，所述系统应用如上述的一种融合层注意力机制的多视角图对比学习推荐方法，所述系统包括：
视图级对比学习模块，用于：
给定用户-项目交互图，并进行聚合操作，通过在聚合过程中添加随机噪声扰动构建扰动增强视图，根据用户-项目交互图中用户和项目之间的交互关系，利用奇异值分解重构构建SVD增强视图，将扰动增强视图和SVD增强视图进行增强视图对比学习；
节点级对比学习模块，用于：
通过在聚合过程中利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，分别构建候选节点对比学习和候选结构邻居对比学习；
预测与推荐模块，用于：
利用给定的用户-项目交互图执行推荐任务，采用多任务学习的方法训练模型，将不同视角下的三种对比学习作为辅助任务，推荐任务作为主任务，并将辅助任务和主任务联合优化总损失函数，得到最终的推荐结果。
在上述方案中，由于传统图卷积的推荐方法基于用户-项目二部图，通过聚合邻居节点的表示来更新自身节点的嵌入表示，导致模型占用存储空间较大，占用计算资源较多，并且在计算过程中会存在过度平滑问题，而过度平滑则会导致信息损失、欠拟合或者影响推荐性能等诸多问题发生。本发明在传播过程中舍弃了传统的特征变化和非线性激活函数，使其更加轻量并达到更优效果。然而，该模型仍存在过度平滑问题，即堆叠多个GCN层会使节点嵌入难以区分从而影响推荐性能。因此本发明采用层注意力机制(Layer Attentionmechanism, LA)可学习GCN层的不同权重以优化损失函数，并提升深层学习的稳定性。
综上所述，本发明通过建立两个不同视角下的三种对比学习来获取更高质量的节点嵌入，提升模型的泛化能力。并融合层注意力机制聚合最终节点嵌入，以缓解过度平滑问题。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种融合层注意力机制的多视角图对比学习推荐方法，其特征在于，所述方法包括如下步骤：
步骤1、给定用户-项目交互图，并进行聚合操作，通过在聚合过程中添加随机噪声扰动构建扰动增强视图，根据用户-项目交互图中用户和项目之间的交互关系，利用奇异值分解重构构建SVD增强视图，将扰动增强视图和SVD增强视图进行增强视图对比学习；
步骤2、通过在聚合过程中利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，分别构建候选节点对比学习和候选结构邻居对比学习；
步骤3、利用给定的用户-项目交互图执行推荐任务，采用多任务学习的方法训练模型，将不同视角下的三种对比学习作为辅助任务，推荐任务作为主任务，并将辅助任务和主任务联合优化总损失函数，得到最终的推荐结果；
在所述步骤1中，给定用户-项目交互图，并进行聚合操作，通过在聚合过程中添加随机噪声扰动构建扰动增强视图的方法具体包括如下步骤：
根据给定的用户-项目交互图，对用户和项目进行特征向量聚合，得到用户和项目的嵌入表示，对用户和项目进行特征向量聚合过程存在如下关系式：
；
其中，和/>分别表示在/>层传播后用户/>和项目/>的嵌入表示，/>表示用户/>交互的项目集，/>表示与项目/>交互的用户集，/>代表对称归一化项；
在原始表征中随机添加均匀噪声扰动，以实现表征级数据增强，随机添加均匀噪声扰动过程存在如下关系式：
；
其中，、/>分别表示加入了扰动后的第/>层用户嵌入与项目嵌入，/>、/>分别是加入第/>层用户嵌入与项目嵌入的扰动，其约束条件为/>与/>，，/>用于控制噪声的大小，/>表示超参数，/>表示同或运算，/>表示符号函数，/>表示/>的向量，/>表示实数的 />维向量空间，其每个维度均服从 0 到 1之间的均匀分布；
将获得每层加入了扰动后用户嵌入与项目嵌入通过层注意力机制获得最终用户/项目的嵌入表示，获得最终用户/项目的嵌入表示过程存在如下关系式：
；
其中，分别表示加入了扰动后的用户/>、项目/>的最终嵌入表示，/>表示网络层数，/>表示执行层注意力操作，/>和/>分别表示聚合用户嵌入与项目嵌入时加入了扰动后第/>层的注意力权重，/>和/>的计算过程存在如下关系式：
；
其中，表示计算注意力权重的参数，/>表示嵌入向量维度，/>表示指数函数。
2.根据权利要求1所述的一种融合层注意力机制的多视角图对比学习推荐方法，其特征在于，在所述步骤1中，根据用户-项目交互图中用户和项目之间的交互关系，利用奇异值分解重构构建SVD增强视图的方法具体包括如下步骤：
根据用户-项目交互图中用户和项目之间的关系构建邻接矩阵，再对邻接矩阵/>进行归一化；
利用低秩的正交矩阵逼近归一化后的邻接矩阵的范围，再对逼近后的矩阵执行SVD分解，得到重构后的矩阵，获得重构后的矩阵过程存在如下关系式：
；
其中，表示分解所需的秩，/>设置为5，/>、/>和/>分别表示/>的近似，，/>，/>，/>和/>分别表示/>阶和/>阶的正交矩阵，/>表示半正定/>阶对角矩阵，/>表示随机SVD算法，/>表示转置操作，/>表示重构后的矩阵；
将重构后的矩阵输入传播表达式中，获得重构后的图结构中的用户/项目的嵌入表示，将重构后的矩阵输入传播表达式的计算过程存在如下关系式：
；
其中，和/>分别表示重构后的图结构中第/>层的用户嵌入和项目嵌入；
将获得每层重构后用户嵌入与项目嵌入通过层注意力机制获得最终用户/项目的嵌入表示，获得最终用户/项目的嵌入表示过程存在如下关系式：
；
其中，分别是重构后的图结构中的用户/>和项目/>的最终嵌入表示，/>和/>的计算过程存在如下关系式：
；
其中，和/>分别表示聚合用户嵌入与项目嵌入时加入了扰动后第/>层的注意力权重。
3.根据权利要求1所述的一种融合层注意力机制的多视角图对比学习推荐方法，其特征在于，在所述步骤1中，将扰动增强视图和SVD增强视图进行增强视图对比学习的方法具体包括如下步骤：
将同一个节点在不同视图下用户的最终嵌入表示作为用户的正例对，将不同节点在不同视图下用户的最终嵌入表示作为用户的负例对/>，利用用户的正例对和用户的负例对构建用户的增强视图对比学习损失函数，构建用户的增强视图对比学习损失函数过程存在如下关系式：
；
其中，表示用户的增强视图对比学习损失函数，/>表示余弦相似度，/>表示一个温度超参数，/>分别表示在扰动增强视图和SVD增强视图下用户/>的最终嵌入表示，表示与用户/>不同的用户在SVD增强视图下的最终嵌入表示；
将同一个节点在不同视图下项目的最终嵌入表示作为项目的正例对，将不同节点在不同视图下项目的最终嵌入表示作为项目的负例对/>，利用项目的正例对和项目的负例对构建项目的增强视图对比学习损失函数，构建项目的增强视图对比学习损失函数过程存在如下关系式：
；
其中，表示项目的增强视图对比学习损失函数，/>分别表示在扰动增强视图和SVD增强视图下项目/>的最终嵌入表示，/>表示与项目/>不同的项目在SVD增强视图下的最终嵌入表示；
将用户的增强视图对比学习损失函数和项目的增强视图对比学习损失函数结合，以得到增强视图对比学习损失函数，获得增强视图对比学习损失函数的过程存在如下关系式：
；
其中，表示增强视图对比学习损失函数。
4.根据权利要求1所述的一种融合层注意力机制的多视角图对比学习推荐方法，其特征在于，在所述步骤2中，通过在聚合过程中利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，构建候选节点对比学习的方法具体包括如下步骤：
在用户侧，将用户的嵌入作为锚点，将候选项目的一阶邻居节点嵌入作为第一正实例，将其它项目的一阶邻居节点嵌入作为第一负实例，并利用第一正实例和第一负实例构建用户侧候选节点对比学习损失函数，用户侧候选节点对比学习损失函数构建过程存在如下关系式：
；
其中，表示候选节点对比学习中用户侧的损失函数，/>表示第/>层项目侧的嵌入，/>表示奇数；
在项目侧，将候选项目的嵌入作为锚点，将用户的一阶邻居节点嵌入作为第二正实例，与用户/>不同的其它用户的一阶邻居节点嵌入作为第二负实例，并利用第二正实例和第二负实例构建项目侧候选节点对比学习损失函数，项目侧候选节点对比学习损失函数构建过程存在如下关系式：
；
其中，表示候选节点对比学习中项目侧的损失函数，/>表示第/>层用户侧的嵌入；
将候选节点对比学习中用户侧的损失函数和候选节点对比学习中项目侧的损失函数结合，得到候选节点对比学习的损失函数，获得候选节点对比学习损失函数的过程存在如下关系式：
；
其中，表示控制两个损失函数强度的超参数，/>表示候选节点对比学习的损失函数。
5.根据权利要求4所述的一种融合层注意力机制的多视角图对比学习推荐方法，其特征在于，在所述步骤2中，通过在聚合过程中利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，构建候选结构邻居对比学习的方法具体包括如下步骤：
选择用户的项目类型结构邻居节点的嵌入作为锚点，用户的项目类型邻居节点的嵌入作为第三正实例，其它用户的项目类型邻居节点的嵌入作为第三负实例，并利用第三正实例和第三负实例构建用户侧候选结构邻居对比学习损失函数，用户侧候选结构邻居对比学习损失函数构建过程存在如下关系式：
；
其中，表示候选结构邻居对比学习中用户侧的损失函数，/>表示第/>层项目侧的嵌入，/>为偶数；
使用候选项目的用户类型结构邻居节点的嵌入作为锚点，项目的用户类型邻居节点的嵌入作为第四正实例，其它项目的用户类型邻居节点的嵌入作为第四负实例，并利用第四正实例和第四负实例构建项目侧候选结构邻居对比学习损失函数，项目侧候选结构邻居对比学习损失函数构建过程存在如下关系式：
；
其中，表示候选结构邻居对比学习中项目侧的损失函数，/>表示第/>层用户侧的嵌入；
将候选结构邻居对比学习中用户侧的损失函数和候选结构邻居对比学习中项目侧的损失函数结合，得到候选结构邻居对比学习的损失函数，获得候选结构邻居对比学习的损失函数的过程存在如下关系式：
；
其中，表示候选结构邻居对比学习的损失函数。
6.根据权利要求5所述的一种融合层注意力机制的多视角图对比学习推荐方法，其特征在于，在所述步骤3中，利用给定的用户-项目交互图执行推荐任务的方法具体包括如下步骤：
将获得每层嵌入表示通过层注意力机制获得最终用户/项目的嵌入表示，获得最终用户/项目的嵌入表示过程存在如下关系式：
；
其中，和/>分别表示用户/>、项目/>的最终嵌入表示；
将用户、项目/>的最终嵌入表示采用内积操作，以预测用户/>和项目/>交互的可能性，预测用户/>和项目/>交互的可能性过程存在如下关系式：
；
其中，表示用户/>对交互项目/>的预测分数，/>分别是用户/>和项目/>的最终嵌入；
采用贝叶斯个性化排名方法，利用用户对交互项目/>的预测分数和用户/>对未交互项目/>的预测分数构建推荐损失函数，推荐损失函数构架过程存在如下关系式：
；
其中，是sigmoid函数，/>表示训练数据集，/>表示与用户/>交互的项目，/>表示与用户/>未交互的项目，/>表示用户/>对未交互项目/>的预测分数，/>表示推荐损失函数。
7.根据权利要求6所述的一种融合层注意力机制的多视角图对比学习推荐方法，其特征在于，在所述步骤3中，采用多任务学习的方法训练模型，将不同视角下的三种对比学习作为辅助任务，推荐任务作为主任务，并将辅助任务和主任务联合优化总损失函数的方法具体包括如下步骤：
将增强视图对比学习损失函数、候选节点对比学习的损失函数和候选结构邻居对比学习的损失函数与推荐损失函数进行结合，得到联合优化的总损失函数，获得联合优化的总损失函数的过程存如下关系式：
；
其中，、/>和/>分别表示控制增强视图对比学习、候选节点对比学习和候选结构邻居对比学习损失权重的超参数，/>是正则化系数，/>表示模型的可训练参数，/>表示/>正则化，表示总损失函数；
通过优化联合损失函数学习模型，得到最终预测概率，以最终预测概率为最终的推荐结果。
8.一种融合层注意力机制的多视角图对比学习推荐系统，其特征在于，所述系统应用如权利要求1至7任意一项所述的一种融合层注意力机制的多视角图对比学习推荐方法，所述系统包括：
视图级对比学习模块，用于：
给定用户-项目交互图，并进行聚合操作，通过在聚合过程中添加随机噪声扰动构建扰动增强视图，根据用户-项目交互图中用户和项目之间的交互关系，利用奇异值分解重构构建SVD增强视图，将扰动增强视图和SVD增强视图进行增强视图对比学习；
节点级对比学习模块，用于：
通过在聚合过程中利用用户和候选项目的不同层嵌入间的关系，基于语义相似度来选择对比学习对象的锚点和正负实例进行节点级对比学习，分别构建候选节点对比学习和候选结构邻居对比学习；
预测与推荐模块，用于：
利用给定的用户-项目交互图执行推荐任务，采用多任务学习的方法训练模型，将不同视角下的三种对比学习作为辅助任务，推荐任务作为主任务，并将辅助任务和主任务联合优化总损失函数，得到最终的推荐结果。
CN202311399337.XA 2023-10-26 2023-10-26 融合层注意力机制的多视角图对比学习推荐方法与系统 Active CN117131282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311399337.XA CN117131282B (zh) 2023-10-26 2023-10-26 融合层注意力机制的多视角图对比学习推荐方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311399337.XA CN117131282B (zh) 2023-10-26 2023-10-26 融合层注意力机制的多视角图对比学习推荐方法与系统

Publications (2)

Publication Number Publication Date
CN117131282A CN117131282A (zh) 2023-11-28
CN117131282B true CN117131282B (zh) 2024-01-05

Family

ID=88863209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311399337.XA Active CN117131282B (zh) 2023-10-26 2023-10-26 融合层注意力机制的多视角图对比学习推荐方法与系统

Country Status (1)

Country Link
CN (1) CN117131282B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609570A (zh) * 2017-08-01 2018-01-19 天津大学 基于属性分类和多视角特征融合的微视频流行度预测方法
CN112925977A (zh) * 2021-02-26 2021-06-08 中国科学技术大学 一种基于自监督图表征学习的推荐方法
CN116167828A (zh) * 2023-04-25 2023-05-26 江苏亿友慧云软件股份有限公司 一种基于图协同和对比学习的物品推荐方法
CN116628341A (zh) * 2023-06-15 2023-08-22 广东工业大学 一种基于多类型视图知识对比学习模型的推荐方法
CN116842277A (zh) * 2023-07-11 2023-10-03 上海师范大学 一种基于跨主题对比学习的社交推荐方法
CN116861078A (zh) * 2023-06-26 2023-10-10 桂林电子科技大学 一种融合用户多行为的图神经网络推荐方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230073754A1 (en) * 2021-08-13 2023-03-09 Salesforce.Com, Inc. Systems and methods for sequential recommendation
EP4202725A1 (en) * 2021-12-22 2023-06-28 Naver Corporation Joint personalized search and recommendation with hypergraph convolutional networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609570A (zh) * 2017-08-01 2018-01-19 天津大学 基于属性分类和多视角特征融合的微视频流行度预测方法
CN112925977A (zh) * 2021-02-26 2021-06-08 中国科学技术大学 一种基于自监督图表征学习的推荐方法
CN116167828A (zh) * 2023-04-25 2023-05-26 江苏亿友慧云软件股份有限公司 一种基于图协同和对比学习的物品推荐方法
CN116628341A (zh) * 2023-06-15 2023-08-22 广东工业大学 一种基于多类型视图知识对比学习模型的推荐方法
CN116861078A (zh) * 2023-06-26 2023-10-10 桂林电子科技大学 一种融合用户多行为的图神经网络推荐方法
CN116842277A (zh) * 2023-07-11 2023-10-03 上海师范大学 一种基于跨主题对比学习的社交推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于增强特征判别性的典型相关分析和分类集成的助学金预测方法;张芳娟;杨燕;杜圣东;;计算机应用(第11期);全文 *
数据仓库中用于视图选择的增强遗传算法;王自强;孙霞;张德贤;;小型微型计算机系统(第02期);全文 *

Also Published As

Publication number Publication date
CN117131282A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN112905900B (zh) 基于图卷积注意力机制的协同过滤推荐方法
Pan et al. A correlative denoising autoencoder to model social influence for top-N recommender system
US11010658B2 (en) System and method for learning the structure of deep convolutional neural networks
Neysiani et al. Improve performance of association rule-based collaborative filtering recommendation systems using genetic algorithm
CN110619081B (zh) 一种基于交互图神经网络的新闻推送方法
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
CN109190030B (zh) 融合node2vec和深度神经网络的隐式反馈推荐方法
Yuan et al. Boostfm: Boosted factorization machines for top-n feature-based recommendation
Wan et al. Deep matrix factorization for trust-aware recommendation in social networks
CN113918833B (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
CN112287166B (zh) 一种基于改进深度信念网络的电影推荐方法及系统
CN113918832B (zh) 基于社交关系的图卷积协同过滤推荐系统
CN110442802B (zh) 一种社交用户的多行为偏好预测方法
CN113918834B (zh) 融合社交关系的图卷积协同过滤推荐方法
CN114579852A (zh) 一种基于图卷积网络与注意力机制的推荐方法
Ye et al. A new deep graph attention approach with influence and preference relationship reconstruction for rate prediction recommendation
Seng et al. Item-based collaborative memory networks for recommendation
CN117131282B (zh) 融合层注意力机制的多视角图对比学习推荐方法与系统
CN116306834A (zh) 一种基于全局路径感知图神经网络模型的链路预测方法
Wang et al. Parameters optimization of classifier and feature selection based on improved artificial bee colony algorithm
Wu et al. AFGSL: Automatic feature generation based on graph structure learning
Li et al. Genetic algorithm and graph theory based matrix factorization method for online friend recommendation
Li et al. A collaborative filtering recommendation method based on TagIEA expert degree model
CN117851687B (zh) 融合自注意力机制的多行为图对比学习推荐方法与系统
Kalidindi et al. Discrete Deep Learning Based Collaborative Filtering Approach for Cold Start Problem.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant